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前 后 ， 许 多 网 站 站 长 发 现 当时 一 部 分 主流 机 托管 商 开始 逐步 使 
此 ， 一 台 服 务 器 已 经 可 以 承载 数 十 台 甚至 上 百 台 虚 拟 
OpenNebula 这 样 的 云 计算 管理 工具 也 开始 逐步 进入 人 们 的 视 


计算 更 加 集约 化 ， 各 种 硬件 资 
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从 OpenStack 早 期 的 Essex 版 本 一 直到 最 新 的 lceHouse 版 本 ， 笔 者 在 不 同 的 环境 下 都 部 署 过 ,， 
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实验 室 ， 负 责 x86 架 构 下 的 云 计算 解决 方案 的 设计 和 开发 。 作 为 OpenStack 的 3 
解 ， 为 了 让 每 GB 级 别 的 存储 和 每 MB 级 别 的 带宽 给 


管理 也 更 加 合理 。 笔 者 正 是 在 这 利 


此 后 几 生 


FE， 以 VMware ESX 为 主 的 私有 云 在 中 


虚拟 化 技术 提供 云 主机 的 托管 服务 ， 而 当时 的 虚拟 化 程度 还 停留 在 半 虚 拟 化 或 类 似 OpenVZ 这 样 的 伪 虚 拟 化 的 水 平 。 即 便 如 
而 且 安 全 性 更 好 ， 价 格 也 更 低 。 通 过 更 加 有 效 的 隔离 和 封装 ， 虚 拟 


机 的 创建 和 恢复 也 变 得 更 加 迅速 和 可 靠 。 与 此 同时 ， 像 Eucalyptus 和 
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居中 心 遍地 开花 。 与 此 同时 ， 存 储 超 配 、 内 存 去 重 、 


“天 时 


由 了 


得 着 Openstack 版 本 的 不 断 升 级 ， 无 论 是 代码 质量 还 是 文档 的 详尽 度 ， 都 在 一 步 步 走向 成 熟 ， 变 得 更 加 易 有 
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F 将 是 OpenStack 力 
子 ， 笔 者 就 见证 了 
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户 对 OpenStack 的 


速 进入 生产 环境 和 
内 某 金 融 服 务 商 的 


户 的 态度 ， 也 从 最 早 的 FUD (Fear/Uncertainty/Doubt, Bl 


也 利 ”的 条 件 下 在 实验 室 里 开 


要 代码 贡献 者 ，1BM 公 司 
户 带 来 更 多 的 价值 ， 笔 者 也 经 常 不 断 地 将 方案 推翻 引 


早期 OpenStack 不 成 熟 导 致 的 各 种 问题 和 障碍 ， 有 时 
皮 “ 挖 ”StackOverflow 的 帖子 ， 甚 至 一 行 行 地 从 OpenStack 代 码 中 “ 抠 ”Bug。 虽 然 在 这 期 间 笔者 增长 了 知识 ， 也 学 会 了 苦 中 作乐 ， 但 笔者 却 不 想 读者 也 为 


究 ， 让 P2P 计 算 、Hadoop 计 算 和 HPC 在 虚拟 化 和 云 计 


展 了 各 项 和 


的 资源 让 笔者 对 KVM 和 OpenStack 等 


源 的 云 计算 方案 有 了 和 零 距离 接 


来 。 也 就 是 在 这 段 时 间 ，Openstack 和 逐渐 步 入 了 它 的 成 熟 期 。 


| 候 两 天 或 三 天 也 找 不 到 解决 方案 ， 
同样 的 问题 徒 增 几 根 白 发 或 加 班 熬 


害怕 、 不 确定 、 
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数 百 台 服 务 器 、 几 干 个 虚拟 机 的 


云 计 算 并 不 只 是 虚拟 


肯定 会 大 放 异 彩 ; 而 随 着 亚马逊 云 计算 在 中 国 


化 ， 实 际 是 由 虚拟 化 引出 的 所 谓 “ 软 件 定义 的 


的 “Openstack 大 会 ”更 是 破格 在 中 


Openstack 和 群集 应 上 
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香港 举办 。 本 书 的 出 版 对 


企业 级 应 上 


怀疑 


中 波 待 解决 的 问题 和 需求 ，OpenStack 都 逐渐 有 了 清晰 的 答 
的 英文 缩写 ) 到 逐渐 接受 甚至 主动 申请 往 OpenStack 上 迁移 。 
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帮助 读者 学 习 和 了 解 OpenStack 应 该 是 非常 及 时 的 。 
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的 落地 和 


数据 中 心 ”。 


因此 ， 读 者 在 学 习 和 应 


慨 提 供 的 。 


思考 这 些 问 


题 一 一 给 出 


若 被 回复 一 句 “ 
有 意义 的 开发 上 ， 这 也 算是 一 件 很 有 意义 的 
作为 一 门 选修 课 ， 更 要 帮助 学 生 将 其 作为 上 T 领 域 的 核 4 


OpenStack 社 区 和 各 大 网 站 上 关于 


自己 看 文档 去 ”， 他 心 


Openstack 云 平台 部 署 的 时 候 ， 最 好 | 
题 不 仅 可 以 帮助 优化 系统 的 整体 性 能 ， 
解答 ， 笔 者 推荐 读者 参看 由 机 械 工业 出 版 社 出 版 的 Kai Hwang 所 著 的 《 云 计 算 与 分 布 式 系统 : 从 并 行 处 理 到 物 联 网 


它 不 仅 包括 网 络 的 虚拟 化 、 计 算 的 虚拟 化 和 存储 的 虚拟 化 ， 还 对 传统 数 
同时 了 解 一 下 : 哪些 功能 是 在 硬件 层 提供 的 ， 哪 些 功能 是 在 协议 层 提供 的 ， 哪 些 功能 是 在 虚拟 层 


Mirantis、Rackspace 和 Softlayer 这 些 典型 的 云 主机 服务 商 ， 各 大 电信 企业 、 电 商 也 在 跃跃欲试 ， 使 用 OpenStack 部 署 私有 云 或 公有 云 环 
。 据 估计 ， 到 2015 年 ， 全 球 将 会 有 约 50 亿 美元 投入 型 
内 大 小 云 计算 提供 商 的 纷纷 上 马 ， 好 戏 还 在 后 头 。 


云 计算 建设 或 升级 中 ， 这 其 中 以 Openstack 为 


居中 心 的 运 维 、 管 理 ， 甚 至 硬件 选 型 都 产生 了 深 
提供 的 ， 哪 些 功能 是 在 OS 层 甚 至 应 


随 着 越 来 越 多 的 开发 者 投入 OpenStack 这 个 和 4 
级 计算 、 存 储 及 
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也 会 帮助 系统 管理 员 更 加 高 效 和 简 生 


a 地 管理 整体 云 计算 环境 。 


同 
》 


时 读者 也 需要 对 Linux 操 作 系统 有 更 深 的 了 解 。 限 于 篇 幅 ， 本 书 无 法 对 上 述 问 
， 这 本 书 是 开始 着 手 学 习 OpenStack 之 前 的 一 本 非常 好 的 基础 及 进 阶 读物 。 


FOpenstack 配 置 和 运 维 的 文档 和 讨论 繁多 ， 有 时 笔者 觉得 本 书 中 某 些 内 容 无 非 是 在 做 搬运 工 兼 翻译 的 活 计 ， 但 
会 是 何等 失落 。 所 以 在 写作 中 ， 笔 者 将 体力 和 脑力 活动 一 并 进行 ， 把 
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头 想 想 ， 当 有 人 向 
选 一 番 ， 省 去 很 多 初 涉 OpenStack 云 计算 读 


己 虚心 请 教 OpenStack 的 问题 时 
者 的 麻烦 ， 让 他 们 把 时 间 花 在 更 


对 于 数据 中 心 的 建设 与 运 维 稍 有 心得 


有 情 。 我 希望 本 书 的 出 版 能 让 更 多 的 人 掌握 OpenStack 的 原理 和 操作 ， 广 泛 了 解 目前 处 
心 技能 之 一 来 掌握 。 
E 态 圈 ， 笔 者 也 特别 希望 分 享 自己 总 结 的 成 功 或 失败 


F 云 计算 前 沿 的 技术 。 我 还 希望 借 此 推动 


国 


内 高 校 云 计算 的 教学 一 一 不 仅 


经 验 ， 避 免 其 他 人 走 同样 的 弯路 ， 帮 助 他 们 进入 OpenStack 开 发 的 “快车 道 ”。 虽 然 笔者 已 经 在 企业 
， 但 一 人 智 短 ， 三 人 智 长 ， 我 特别 要 感 澳 Frank、 杨 海 明 、Mark Zhu， 他 们 在 本 书 的 创作 过 程 中 ， 为 笔者 解 惑 释疑 ， 帮 助 扫除 


知识 的 死角 ， 使 笔者 可 以 从 系统 的 高 度 去 阐述 OpenStack， 避 免 局 限 在 技术 细节 而 忽视 了 全 系统 的 协同 。 这 里 笔者 也 要 感谢 奋战 在 一 线 的 同事 ， 他 们 给 予 的 许多 宝贵 的 现场 反馈 让 笔者 重新 思索 如 何 将 
OpenStack 与 用 户 实际 需求 相 结 合 ， 避 免 纸 上 谈 兵 和 教条 主义 。 他 们 其 中 很 多 人 是 OpenStack 的 核心 代码 开发 者 ， 对 专业 知识 的 深入 理解 让 笔者 钦佩 ， 也 深 深 感到 设计 OpenStack 这 样 一 个 通用 云 计算 框架 
的 不 易 。 最 后 ， 笔 者 也 要 感谢 无 私 地 将 OpenStack 学 习 笔 记分 享 出 来 的 lvsaloon、nc triin 等 技术 爱好 者 。 
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E 念 、 开 放 式 的 开发 模式 、 开 放 式 的 社 


第 一 部 分 


的 开源 云 平 台 管理 项 目 ， 可 以 控制 整个 数据 中 心计 算 、 存 储 和 


基础 篇 


区 ，Sstack 意 为 堆 ， 可 以 理解 为 云 计算 是 靠 每 一 块 4 


巨大 的 开源 软件 集合 ， 集 各 种 开源 软件 之 大 成 。 当 你 想 寻 找 AWS EC2 的 替代 品 时 


旧 解 决 方案 的 综合 。 


Rac 


\ 瓦 砾 堆砌 而 成 。OpenStack 并 不 是 生 


2014 年 4 月 于 上 海 


网 络 资源 的 大 型 资源 池 。 从 OpenStack 的 名 字 可 以 看 出 它 大 致 的 含义 ，Open 顾 名 思 义 为 开源 软件 ， 开 放 式 的 设 


独 的 一 个 软件 ， 它 


|，Openstack 将 是 一 个 不 错 的 选择 。 


多 个 组 件 一 起 协作 完成 某 些 具体 工作 。Openstack 本 


云 计算 的 概念 并 不 是 很 新 。 实 际 上 ，AWS EC2 已 经 出 现 有 7 年 左右 。 昌 然 OpenStack 是 如 今 最 为 流行 的 一 种 可 用 的 开源 云 计 算 解决 方案 之 一 ， 但 它 不 是 最 早 的 一 个 。 它 是 在 公共 和 私有 领域 开发 的 两 种 
F 轻 的 开源 项 目 ， 最 初 是 由 美国 国家 航空 航天 局 (NASA) 和 Rackspace 合 作 研发 的 项 目 ，2010 年 7 月 以 Apache 2.0 许 可 证 授权 开源 ， 源 代码 来 自 于 NASA 的 Nebula 云 平台 和 


Openstack 是 一 个 非常 生 
kspace 的 分 布 式 云 存储 (Swift) 项 


目 。NASA 最 初 使 
(“ 开 放 核 ”模式 ) 。NASA 首 席 技术 官 Chris Kemp 的 研究 小 组 为 此 专门 建立 了 


的 是 Eucalyptus 云 计算 平台 ， 当 规模 持续 快速 增长 后 ，Eucalyptus 已 经 不 能 满足 NASA 的 云 计 算 规模 ， 而 Eucalyptus 是 不 完全 开放 源 代码 的 
己 的 计算 引擎 ， 新 平台 命名 为 Nova， 并 将 其 开源 。 在 2010 生 


ENASA 和 Rackspace 分 别 将 Nova 和 Swift 项 目 代码 开源 时 ,已 


经 获得 了 25 个 企业 和 组 织 的 支持 。 


Openstack 致 力 于 一 个 开放 式 设计 过 程 ， 每 6 个 月 开发 社区 就 会 举行 一 次 设计 峰会 来 收集 需求 并 写 入 即将 发 布 版 本 的 规格 中 。 设 计 峰会 是 完全 对 公众 : 


需求 和 制定 经 过 批准 的 线路 图 ， 


于 指导 未 来 6 个 月 的 发 展 。 


Openstack 使 


Apache 2.0 许 可 证 ， 兼 容 GPLv3 以 及 DFSG。 


下 面 来 了 解 一 下 OpenStack 的 优势 和 劣势 。 


OpenStack 的 优势 : 

. 解除 厂商 绑 定 。 

. 具有 可 扩展 性 及 很 好 的 弹性 ， 可 定制 化 IaaS。 
良好 的 社区 氛围 。 


Openstack 的 劣势 : 


“ 入 手 难 、 学 习 曲 线 较 高 ， 在 对 整体 把 握 不 足 的 情况 下 ， 很 难 快速 上 手 。 


“ 偏 底层 ， 需 要 根据 实际 应 用 场景 进行 二 次 开发 。 
: 现 阶 段 的 厂商 支持 较 弱 ， 商 业 设 备 的 OpenStack 了 驱动 相对 不 够 全 面 。 
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云 计算 的 概念 并 不 是 很 新 。 实 际 上 ，AWS EC2 已 经 出 现 有 7 年 左右 。 虽 然 OpenStack 是 如 今 最 为 流行 的 一 种 可 


旧 解 决 方案 的 综合 。 


Openstack 是 一 个 非常 年 轻 的 开源 项 目 ， 最 初 是 由 美国 国家 航空 航天 局 (NASA) 和 Rackspace 合 作 研 发 的 项 目 ，2010 征 


Rackspace 的 分 布 式 云 存 储 (Swift) 项 目 。NASA 最 初 使 有 
(“ 开 放 核 ”模式 ) 。 
经 获得 了 25 个 企业 和 组 织 的 支持 。 


Openstack 致 力 于 一 个 开放 式 设计 过 程 ， 
需求 和 制定 经 过 批准 的 线路 


每 6 个 月 
， 用 于 指导 未 来 6 个 月 的 发 展 。 
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OpensStack 使 


Apache 2.0 许 可 证 ， 兼 容 GPLV3 以 及 DFSG。 


下 面 来 了 解 一 下 OpenStack 的 优势 和 劣势 。 


OpenStack 的 优势 : 
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: 具有 可 扩展 性 及 很 好 的 弹性 ， 可 定制 化 IaaS。 
“ 良好 的 社区 氛围 。 


OpenStack 的 劣势 : 


“ 入 手 难 、 学 习 曲 线 较 高 ， 在 对 整体 把 握 不 足 的 情况 下 ， 很 难 快速 上 手 。 


“ 偏 底层 ， 需 要 根据 实际 应 用 场景 进行 二 次 开发 。 


' 现 阶段 的 厂商 支持 较 弱 ， 商 业 设 备 的 OpenStack 了 驱动 相对 不 够 全 面 。 


1.2 OpenStack 的 结构 


Openstack 包 含 了 许多 组 件 。 有 些 组 件 会 首先 出 现在 孵化 项 目 中 ， 待 成 熟 以 后 进入 下 一 个 Openstack 发 行 版 的 核心 服务 中 。 同 时 也 有 部 分 项 


含 在 发 行 版 代码 中 。 
Openstack 的 核心 服务 包括 : 
* Nova 计 算 服务 (Compute as a Service) 
* Neutron 网 络 服务 (Networking as a Service) 


- Swift 对 象 存储 服务 (Object Storage as a Service) 


独 的 一 个 软件 ， 它 


的 开源 云 计算 解决 方案 之 一 ， 但 它 不 是 最 早 的 一 个 。 


F7 月 以 Apache 2.0 许 可 证 授权 开源 ， 源 代码 来 自 


由 多 个 组 件 一 起 协作 完成 某 些 


体 工作 。OpenStack 本 


它 是 在 公共 和 私有 领域 开发 的 两 种 


己 的 计算 引擎 ， 新 平台 命名 为 Nova， 并 将 其 开源 。 在 2010 生 


于 NASA 的 Nebula 云 平台 和 


的 是 Eucalyptus 云 计算 平台 ， 当 规模 持续 快速 增长 后 ，Eucalyptus 已 经 不 能 满足 NASA 的 云 计 算 规模 ， 而 Eucalyptus 是 不 完全 开放 源 代码 的 
NASA 首 席 技 术 官 Chris Kemp 的 研究 小 组 为 此 专门 建立 了 


ENASA 和 Rackspace 分 别 将 Nova 和 Swift 项 目 代码 开源 时 , 已 


发 社区 就 会 举行 一 次 设计 峰会 来 收集 需求 并 写 入 即将 发 布 版 本 的 规格 中 。 设 计 峰 会 是 完全 对 公众 


放 的 ， 包 括 用 户 、 


发 者 和 上 游 项 目 。 社 区 收集 


是 为 了 更 好 地 支持 OpenStack 社 区 和 项 目 开 发 管理 ， 不 包 


* Cinder 块 存储 服务 (Block Storage as a Service) 
Openstack 的 公共 服务 包括 : 

* Glance 镜 像 服务 (Image as a Service) 

* Keystone 认 证 服务 (Identity as a Service) 


“ Horizon 仪 表盘 服务 (Dashboard as a Service) 


OpenStack 的 依赖 库 项 目 包括 : Oslo 基 础 设施 代码 共享 依赖 库 (Common Lab as a Service) , 


Openstack 的 孵化 项 目 包括 : 

“Ceilometer 计 费 & 监 控 服 务 

* Heat 编 排 服务 

- Ironic 物 理 设备 服务 (Bare Metal as a Service) 

* Marconi 消 息 队列 服务 (Message Queue as a Service) 
* Savanna 大 数据 处 理 (MapReduce as a Service) 


* Trove 数 据 库 服务 (DataBase as a Service) 


OpenStack 的 其 他 项 目 涉及 : 
* Infrastructure OpenStack 社 区 建设 项 目 
* Documentation OpenStack 文 档 管理 项 目 
* TripleO OpenStack 部 署 项 目 
“ DevStack OpenStack 开 发 者 项 目 
: QA OpenStack 质 量 管理 项 目 
* Release Cycle Management 版 本 控制 项 目 
这 些 OpenStack 项 目 有 一 些 共同 点 ， 比 如 : 
“OpenStack 项 目 组 件 由 多 个 子 组 件 组 成 ， 子 组 件 有 各 自 的 模块 。 
- 每 个 项 目 都 会 选举 PTL (Project Technical Leader) o 


“ 每 个 项 目 都 有 单独 的 开发 人 员 和 设计 团队 。 


: 每 个 项 目 都 有 具有 优良 设计 的 公共 API，API 基 于 RESTful， 同 时 支持 SON 和 XML。 


“ 每 个 项 目 都 有 单独 的 数据 库 和 隔离 的 持久 层 。 


: 每 个 项 目 都 可 以 单独 部 署 ， 对 外 提供 服务 ， 也 可 以 在 一 起 协同 完成 某 项 工作 。 


“ 每 个 项 目 都 有 各 自 的 后 端 驱动 ， 所 有 的 驱动 都 可 以 以 plugin 方 式 加 载 。 


* 每 个 项 目 都 有 各 自 的 client 项 目 ， 如 Nova 有 nova-client 作 为 其 命令 行 调用 RESTful 的 实现 。 


除了 以 上 项 目 ，Openstack 的 其 他 项 目 或 多 或 少 也 会 需要 Database (数据 库 ) 、Message Queue (消息 队列 ) 进行 数据 持久 化 、 通 信 。 


1.3 Openstack 的 功能 与 作用 


当今 的 数据 中 心 ， 许 多 服务 器 都 遇 到 过 同样 的 问题 ， 即 计算 、 电 源 、 网 络 带宽 等 资源 利 
计算 资源 。 当 用 户 想 要 一 种 灵活 的 、 按 需 供给 计算 资源 的 服务 ， 通 过 自动 化 或 很 少 人 工 


率 不 足 。 例 如 ， 某 个 项 目 可 能 会 需要 大 量 计算 资源 来 完成 计算 ， 而 一 旦 完成 了 计算 任务 ， 将 不 再 需要 那么 多 的 


Agreement, SLA) ， 表 示 云 计算 服务 提供 商 承 诺 的 性 能 、 规 格 、 可 上 


预 就 能 使 用 时 ， 那 么 云 计算 就 是 最 好 的 选择 之 一 。“ 云 计算 ”通常 包含 了 一 个 服务 责任 (Service Level 


率 等 。 云 计算 服务 让 有 


计 费 。 


这 些 关 于 云 计 算 服务 的 主要 特点 如 下 。 


户 通 过 一 个 共享 的 计算 资源 、 网 络 带宽 、 存 储 池 ， 运 行 应 有 


程序 或 服务 来 完成 计算 工作 ， 并 按 资源 的 使 用 量 来 


“ 按 需 自助 服务 : 用 户 可 以 提供 自己 的 需要 订购 所 需 的 计算 、 存 储 和 网 络 资源 ， 而 几乎 不 需要 人 工 干预 。 


“ 网 络 访问 : 可 以 通过 网 络 使 用 任意 类 型 的 〈 异 构 ) 计算 能 力 。 通 过 标准 化 的 机 制 调用 计算 资源 而 不 受 限 于 具体 的 访问 设备 。 


“ 资源 池 : 多 个 用 户 可 以 同时 访问 和 使 用 云 计 算 提 供 的 计算 服务 ， 服 务 提供 商 根据 消费 者 的 计算 要 求 或 实际 使 用 量 汇集 和 分 配 实际 的 计算 资源 。 


“ 弹性 : 可 根据 需要 在 不 停机 或 短暂 停机 后 迅速 垂直 或 横向 扩展 。 


“ 计量 或 测量 服务 : 按照 使 用 的 时 间 、 传 输 或 存储 的 字 节 数 支 付 云 计算 服务 ， 


下 面 了 解 一 下 当今 的 laaS/Cloud 与 OpenStack 的 对 比 情况 ， 从 而 进一步 了 解 OpenStack 的 特点 ， 见 表 1-1。 


表 1-1 Iaas/Cloud 与 OpenStack 组 件 的 对 比 


并 提供 消费 者 具体 的 资源 消费 图 表 。 同 时 ， 它 也 可 以 根据 消费 者 的 不 同 需求 提供 定制 化 的 计 费 模式 。 


SN laaS/Cloud = OpenStack 


Mrs et 
管理 云 


VApps 
vCloud 


vCenter 


管理 虚拟 机 


KE 高 可 用 (HA) 网 络 


存储 


高 可 用 (HA) 


Nova Compute 


作 用 
是 供 云 应 用 或 Web 应 用 


管理 x86 服务 器、 集群 


Neutron 提供 扁平 网 经 
Swift、Cinder 提供 云 z 储 


当今 的 云 计 算 概念 是 由 Google 公 司 提出 的 ， 狭 义 的 云 计 算是 指 IT 基础 设施 的 交付 和 使 用 模式 ， 按 需 取 用 所 需 的 |T 资 源 ; 广义 的 云 计 算是 指 服务 交付 和 使 用 模式 ， 通 过 网 络 按 需 取 用 所 需 的 服务 ， 这 种 服 


务 可 以 是 IT、 软 件 、 互 联网 相关 的 ， 也 可 以 是 其 他 服务 。 它 


laaS (Infrastructure as a Service) 提供 从 上 到 下 不 同 


MI 


有 超大 规模 、 虚 拟 化 、 可 靠 安 全 、 弹 性 等 特性 。 通 过 SaaS (Software as a Service) 、 
的 云 计算 服务 。 


PaaS (Platform as a Service) 、 


云 计 算 (Cloud Computing) 是 网 格 计算 (Grid Computing) 、 分 布 式 计算 (Distributed Computing) 、 并 行 计算 (Parallel Computing) 、 效 用 计算 (Utility Computing) 、 联 机 存储 技术 


(Network Storage Technology) 、 虚 拟 化 (Virtualization) 、 


大 型 计算 资源 池 ， 并 借助 SaaS、PaaS、1aaS 等 服务 模式 ， 


负载 均衡 (Load Balance) 等 一 系列 传统 计算 机 技术 和 网 络 技术 发 
将 强大 的 计算 能 力 分 发 到 终端 
供给 用 户 ， 简 化 用 户 终端 的 处 理 负担 ， 最 终 使 用 户 成 为 一 个 


户 手中 。 云 计算 的 核心 理念 就 是 通过 不 断 提 高 “ 云 
纯 的 输入 /输出 设备 ， 享 受 “ 云 ”提供 的 强大 计算 处 理 及 服务 能 力 。 


展 融合 的 产物 。 它 旨 在 通过 网 络 将 多 个 成 本 低廉 的 计算 实体 整合 成 一 个 
” 端 处 理 能 力 ， 减 轻 用 户 负 担 ， 将 一 系列 的 IT 能 力 以 服务 形式 提 


Openstack 具 有 建设 这 样 资源 池 的 能 力 ， 通 过 Openstack 的 各 种 组 件 多 种 模式 的 排列 组 合 ， 可 以 搭建 成 各 种 规模 的 “ 云 ” ， 这 些 云 可 以 是 私有 云 、 公 有 云 、 混 合 云 。 


Openstack 具 有 三 大 核心 功能 ， 即 计算 、 存 储 、 网 络 ， 分 别 对 应 相应 的 项 目 Nova、Cinder。 其 中 Neutron。 其 中 Nova 提 供 了 计算 资源 的 管理 ， 可 以 管理 跨 服务 器 网 络 的 VM 实 例 。 同 时 ，Nova 还 提供 
对 多 种 Hypervisor 的 支持 ， 如 KVM、QEMU、Xen、LXC、VMware、Hyper-V、PowerVM 等 。Cinder 提 供 了 存储 资源 的 管理 ， 可 以 管理 各 个 厂商 提供 的 专业 存储 设备 。Neutron 提 供 了 网 络 资源 的 管 
理 ， 并 且 LBaaSs、FWaas 等 一 系列 网 络 相关 的 组 件 也 正在 逐渐 发 展 起 来 。 
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OpenStack 并 不 是 唯一 的 开源 基础 设施 服务 ， 在 谈论 OpenStack 的 时 候 


每 一 个 设计 都 具有 相同 的 目标 ， 即 提供 一 套 开源 组 件 ， 利 


Openstack 和 Cloudstack 具 有 相似 的 功能 组 件 ， 如 计算 、 网 络 、 存 储 。 计 算 方面 ， 都 支持 将 虚拟 机 分 配 到 和 


各 个 组 件 的 必要 功能 来 管理 云 中 成 干 上 万 的 身 


拟 交换 机 创建 和 管理 虚拟 机 网 络 。 存 储 方面 ， 分 别 含 有 对 象 和 块 存储 系统 、 镜 像 管理 功能 和 云 计算 管 理 接口 这 些 组 件 。 


的 。 


1.OpenStackJ55R 


2010 年 ， 美 国 国家 航空 航天 局 联手 Rackspace， 在 建设 美 


2010 年 诞生 的 第 一 个 版 本 Austin 只 包含 Rackspace 和 美 医 


户 一 定 会 拿 CloudStack 与 之 相对 比 。 对 比 OpenStack 和 CloudStack 这 两 个 云 计算 产品 ， 有 助 于 了 解 它们 两 者 的 本 质 。 它 们 的 


台 服 务 器 ， 两 者 都 旨 在 成 为 构建 私有 云 、 公 有 云 的 云 资源 服务 提供 者 。 


独 的 服务 器 ， 管 理 协调 计算 资源 的 使 用 。 网 络 方面 ， 提 供 虚 拟 、 物 理 网 络 管理 功能 ， 包 括 虚 


上 国家 航空 航天 局 的 私有 云 过 程 中 ， 创 建 了 OpenStack 项 


Openstack 的 不 断 发 展 ， 在 2012 年 创建 了 Openstack 基 金 会 ， 该 基金 会 由 选举 产生 的 董事 会 监管 。Openstack 的 技术 委员 会 由 每 个 核心 的 软件 项 


目前 ，Openstack.org 有 声称 来 自 87 个 国家 或 地 区 的 850 个 基金 会 成 员 。 白 金 会 员 提供 最 高 水 平 的 支持 ， 其 次 是 黄金 会 员 、 赞 助 企业 和 个 人 会 员 


虽然 这 两 者 有 共同 的 目标 ， 并 具有 相似 的 基本 功能 ， 但 其 历史 和 项 目的 组 织 是 不 同 


， 之 后 他 们 邀请 其 他 供应 商 提 供 组 件 ， 建 立 一 个 完整 的 开源 云 计算 解决 方案 。 


家 航空 航天 局 的 组 件 。 之 后 发 布 的 版 本 包含 了 已 加 入 该 项 目的 供应 商 开 发 的 附加 组 件 。 最 初 ，Rackspace 独 立 管理 OpenStack 项 目 ， 随 着 


和 项 目 领导 等 组 成 。 


公司 或 组 织 ; 黄金 会 员 有 思科 、 戴 尔 、VMware 等 公司 。 开 源 协 议 是 Apache 2.0。Openstack 代 码 可 免费 下 载 。 


2.CloudStack 历 史 


。 当 前 ， 白 金 会 员 有 AT&T、HP、IBM 和 Rackspace 等 


Cloudstack 始 于 Cloud.com， 其 目标 是 使 服务 供应 商 和 企业 创建 、 运 营 其 能 力 类似 于 亚马逊 公司 的 公有 云 、 私 有 云 。2010 年 ，Cloud.com 提 供 了 基于 GPLv3 的 社区 版 本 ， 供 用 户 免费 下 载 ， 并 随后 发 


布 了 两 个 支持 版 本 。 


BA (Citrix) 公司 在 2011 年 7 月 收购 了 Cloud.com。 思 杰 公 司 是 OpenStack 社 区 早期 成 员 之 一 ， 但 在 2012 年 决定 离开 OpenStack 社 | 


Cloud.com 提 供 的 代码 相 比 OpenStack 更 稳定 ， 可 为 用 户 提供 更 多 的 功能 。 


2012 年 4 月 ， 思 杰 公 司 提交 了 Cloud.com 的 代码 给 Apache 软 件 基金 会 ， 
Apache， 其 他 厂商 也 纷纷 加 入 到 了 开发 队伍 ， 增 加 功能 和 增强 核心 软件 。 


区 。 据 媒体 报道 ， 做 出 这 一 决定 是 因为 思 杰 公司 认为 ， 最 初 由 


现在 在 Apache 基 金 会 的 Apache 2.0 许 可 证 下 进行 代码 


司 将 继续 提供 版 本 支持 及 解决 方案 支持 。 由 于 过 渡 到 了 


还 有 一 点 不 同 是 ，OpenStack 的 基金 会 中 会 有 供应 商 的 名 单 ， 不 同 于 CloudStack 的 发 布 者 名 单 。 因 为 Apache 基 金 会 负责 了 大 量 的 项 目 ， 而 Apache 项 目 成 员 均 以 个 人 名 义 被 列 入 ， 而 不 是 他 们 所 代表 


在 Apache 项 目 中 ， 由 感 兴趣 的 公司 制定 独立 工作 人 员 的 工作 项 目 。 当 前 ，CloudStack 项 


Computing 和 EPAM Systems 等 。 项 目的 发 展 方向 由 个 别人 参与 者 所 代表 的 雇主 的 意愿 来 决定 。 


3.OpenStack 与 CloudStack 历 史 对 比 


Cloud.com 致 力 于 开发 和 发 展 一 个 更 大 的 开源 云 社 


bi 


相 比 之 下 ，Openstack 项 目 从 最 开始 就 发 展开 放 社区 ， d 


此 ， 大 部 分 CloudStack 的 核心 组 件 由 Cloud.com 开 发 ， 然 后 由 思 杰 公司 增强 。 


直接 结果 是 ，OpenStack 里 聚集 了 比 CloudStack 更 多 的 3 


成 员 中 有 一 些 思 杰 公司 的 员工 和 一 些 


后 才 为 CloudStack 提 供 接口 。 


前 不 太 知名 的 公司 ， 如 Sungard、Schuberg Philis, TCloud 


E 流 供应 商 。 在 大 多 数 情况 下 ， 这 些 厂 商 开发 的 组 件 第 一 时 间 提 供给 OpenStack, 之 


此 外 ， 思 科 和 Nicira 公 司 已 经 成 为 OpenStack 网 络 组 件 Neutron 的 主要 开发 者 。Neutron 接 收 来 自 虚拟 机 的 指令 来 定义 虚拟 机 所 需要 的 网 络 ， 然 后 发 送 指令 给 交换 机 和 路 由 器 来 创建 这 些 网 络 。 现 在 ， 
思科 和 Nicira 公 司 已 经 写 完了 OpenStack 的 网 络 模 块 ， 正 在 为 CloudStack 做 同样 的 适 配 。 


每 个 交换 机 的 供应 商 必 须 为 Neutron 提 供 插件 。 这 个 插件 在 Neutron 中 转换 为 特定 厂商 设备 的 特定 命令 语法 。Extreme Networks 和 Brocade 这 两 个 OpenStack 基 金 会 成 员 同 样 先 为 OpenStack 提 供 插 


件 ， 再 进行 CloudStack 支 持 。 


OpenStack 为 分 布 式 组 件 模式 ， 可 以 选择 性 地 部 署 需要 的 组 件 ， 如 网 络 组 件 Neutron、 块 存储 组 件 Cinder、 计 算 组 件 Nova， 按 需 部 署 ， 按 需 取 用 。 相 比 之 下 ，CloudStack 是 一 个 可 插 拔 式 的 模型 ， 通 
过 可 插 拔 模型 来 实现 SDN、IP 分 配 、LBaaS、 防 火 墙 、VPC、Vxlan 等 ， 而 这 些 功 能 OpenStack 也 都 支持 。 


Openstack 和 CloudStack 支 持 的 虚拟 机 Hypervisor 也 基本 类 似 ， 同 样 支持 KVM、XenServer、VMware， 不 同 的 是 ，Openstack 还 支持 Hyper-V、PowerVM、LXC via libvirt、Baremetal、 
QEMU、Docker。 


OpenStack 也 有 不 够 完善 的 地 方 ， 如 OpenStack 相 对 于 CloudStack 来 说 更 加 复杂 ， 对 终端 用 户 的 支持 不 够 ;在 安装 部 署 上 不 如 CloudStack 便 捷 ; 在 界面 显示 方面 也 不 如 CloudStack 丰 富 。 


要 确定 企业 的 合适 部 署 ， 就 必须 仔细 对 比 每 一 个 解决 方案 ， 然 后 再 进行 选择 。 思 杰 公 司 向 大 型 服务 供应 商 、 大 学 以 及 其 他 机 构 展现 了 CloudStack 的 成 熟 和 稳定 。 而 要 关注 OpenStack 的 稳定 性 可 以 查看 
IBM、 戴 尔 和 Rackspace 等 公司 的 解决 方案 。 这 两 款 产品 一 直 在 持续 发 展 ， 提 供 了 一 系列 的 存储 和 网 络 的 选项 。 随 着 OpenStack Icehouse 的 发 布 ，OpenStack 拥 有 了 不 错 的 3 层 网 络 支 持 。 以 
前 ，Cloudstack 一 直 宣 称 有 与 亚马逊 公司 的 EC3 更 好 的 兼容 性 ， 但 OpenStack 在 这 一 领域 的 能 力 已 明显 提高 。 企 业 必须 确定 它们 的 实际 要 求 ， 再 仔细 检查 每 一 个 解决 方案 是 如 何 满足 它们 的 需求 的 。 虽 然 两 
者 都 支持 一 些 广泛 使 用 的 虚拟 机 管理 程序 ， 但 是 企业 仍然 需要 评估 哪 一 个 提供 了 最 需要 的 虚拟 机 管理 程序 支持 ， 以 及 哪个 方案 对 现 有 的 网 络 设备 、 存 储 设备 和 服务 器 设备 提供 了 较 好 的 支持 。 另 外 ， 还 可 以 
向 正在 使 用 产品 的 集成 商 或 VAR 询 问 他 们 的 具体 经 验 与 解决 方案 中 的 一 个 或 两 个 。 确 保 考虑 了 上 述 所 有 这 些 因 素 ， 才 会 让 客户 做 出 最 终 的 正确 选择 。 


1.5 ”OpenStack 应 用 现状 和 发 展 趋势 


通过 trends.google.com， 可 以 整理 出 目前 人 们 对 一 些 开源 云 计 算 项 目的 关注 趋势 。Rackspace 以 OpenStack 为 基础 的 私有 云 业务 每 年 7 亿美 元 ， 增 长 率 超 过 了 20%。 


如 图 1-1 所 示 ， 在 开源 云 计算 项 目 领 域 ， OpenStack 从 2010 年 开始 就 已 经 超过 CloudStack、Eucalyptus、OpenNebula 等 其 他 云 计 算 开源 项 目 ， 是 当今 最 热门 的 开源 项 目 之 一 ， 这 离 不 开 社区 管理 者 和 
区 推广 者 的 努力 。 
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图 1-1 Google Trend 显示 OpenStack 和 其 他 开源 云 计算 项 目的 趋势 对 比 


在 云 计算 领域 ，OpenStack 也 在 逐渐 追赶 虚拟 化 商业 巨头 VMware 的 步伐 。OpenSstack 和 其 他 商业 云 项 目的 趋势 对 比如 图 1-2 所 示 。 我 们 有 理由 相信 ， 在 今后 几 年 乃至 相当 长 一 段 时 间 里 ，OpenStack 
依然 会 活跃 在 大 家 的 视线 中 。Openstack 社 区 活跃 度 如 图 1-3 所 示 。 
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图 1-2 Google Trend 显示 OpenStack 和 其 他 商业 云 项 目的 趋势 对 比 
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图 1-3 OpenStack 社 区 活跃 度 


相 比 开源 项 目的 “前 辈 ”，Openstack 是 一 个 更 高 级 且 更 现代 化 的 开源 项 目 ， 因 为 它 是 高 度 协 作 的 产物 。 


OpenStack 的 支持 者 都 是 世界 顶级 的 供应 商 ， 可 以 看 出 OpenStack 备 受 青睐 ， 可 以 说 它 是 开源 界 的 明星 产品 。 目 前 ,该 领域 世界 排名 前 三 的 供应 商 对 OpenStack 都 已 有 相应 的 支持 ， 见 表 1-2。 


表 1-2 支持 OpenStack 项 目的 主流 供应 商 


x86 服务 天 供应 商 IBM 
Linux 供应 商 Canonical 
EE FH e nw rig Alcatel-Lucent 
刀片 服务 器 供应 商 IBM 
交换 机 供应 商 Juniper Networks 
Hypervisor 供应 商 VMware Xen 
目前 Openstack 的 实现 对 于 完整 云 计算 所 需 组 件 的 支持 情况 见 表 1-3。 
表 1-3 ”OpenStack 组 件 及 其 支持 者 
EE 


用 户 界 面 
弹性 i 
服务 发 现 
认证 、 授 权 
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服务 管理 
计 费 

日 志和 健康 
硬件 认证 
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1.6 体验 Openstack 
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和 访问 控制 
生命 周期 管理 


今 测 


OpenStack 、 供 应 商 、 生 :; 


Horizon, CLI 


Nova, Swift, Neutron, Cinder 


OpenStack, (Hp. ^; 


ZSA: Nova, Keystone 


OpenStack, 、 供 应 商 


态 圈 


供应 商 、 生 态 圈 


1.6.1 初探 OpenStack 

由 于 OpenStack 安 装 过 程 时 间 较 长 且 复 杂 ， 并且 构 建 不 同 的 云 环境 可 以 选择 各 种 各 样 的 排列 组 合 方式 ,为 了 避免 初学 者 在 较 长 时 间 的 安装 过 程 中 失去 对 OpenStack 的 探索 热情 ， 因 此 ， 我 们 先 来 认识 一 
下 OpenStack 的 用 户 界面 ， 从 感官 角度 来 见识 一 下 它 。 

Openstack 的 用 户 界面 由 两 部 分 组 成 : 一 是 Web 界 面 ， 二 是 Shell 界 面 。Horizon 负 责 展 现 Web 仪 表盘 ， 用 户 可 以 通过 浏览 器 直接 操作 、 管 理 、 运 维 OpenStack 的 一 些 功能 。 由 于 OpenStack 项 目 队 伍 
不 断 壮大 ，Dashboard 并 不 能 展现 所 有 的 OpenStack 功 能 ， 因 此 ， 最 新 的 功能 一 般 会 先 开发 Shell 命 令 行 ， 也 就 是 将 CLI (Command Line Interface) 提供 给 Linux 用 户 操作 。 

通过 浏览 器 输入 仪表 盘 的 地 址 ， 可 以 看 到 如 图 1-4 所 示 的 登录 界面 。OpenStack 仪 表盘 可 以 安装 在 任意 节点 ， 我 们 通常 都 将 其 安装 在 Nova API 的 管理 节点 ， 以 方便 访问 。Horizon 和 Nova-Client 一 样 ， 


需要 Keystone 的 用 户 名 及 密码 认证 ， 以 及 Keystone 的 Token 进 行 授权 访问 。 这 些 都 是 Horizon 内 部 实现 的 ， 普 通用 户 只 要 有 用 户 名 及 密码 就 能 登录 到 仪表 盘 中 进行 日 常 操作 。 让 我 们 先 登录 到 OpenStack 的 


仪表 盘 中 ， 为 了 方便 演示 , 使 


admin 


P. 


登录 到 控制 面板 ， 可 以 发 现 有 管理 员 视图 (VEERTITN) 和 项 目 视图 
从 整体 视角 来 观察 “ 云 ”的 一 举 一 动 ， 可 以 看 到 整个 资源 池 的 大 小 状况 ， 以 及 健康 状况 。 如 果 资 源 不 够 使 


openstac 


DASHRÜART 


图 1-4 ”Horizon 登录 页 面 


些 工作 只 能 通过 人 工 干 预 的 方式 进行 。 


Openstack 的 仪表 盘 左 侧 是 导航 栏 ， 如 图 1-5 所 示 。 在 Openstack 的 图 
(Instances) 、 卷 (Volumes) 、 镜 像 和 快照 (Image&Snapshots) 、 访 问 和 安全 (Access&Security) 几 个 方面 来 管理 “ 云 ”。 管 理 员 维 


(Volumes) , Æ (Flavors) 、 镜 像 (Images) 、 项 目 (Project) 、 上 
RR. dE CA 


( 仅 可 以 操作 当前 


环境 中 ， 很 多 时 候 需要 从 不 同 的 维度 去 观察 。 从 多 维 角度 观 疯 


a 


标 下 可 以 看 到 两 个 维度 : 项 


6E 
BET: 


户 所 授权 的 


项 目 ) 。 有 目前 的 仪表 盘 已 经 进行 了 国际 化 ， 可 以 使 用 熟悉 的 中 文 来 管理 “ 云 ”。 管 理 员 用 户 可 以 


， 那 么 可 以 以 人 工 方式 进行 干预 。 目 前 ， 因 为 OpenStack 的 Auto Scaling 并 不 尽 如 人 意 ， 所 以 一 


和 管理 员 。 这 两 个 维度 下 面 分 别 有 各 自 的 服务 菜单 。 项 目 维度 可 以 从 概览 (Overview) 、 实 例 


到 想 要 的 全 部 信息 。 


P: (Users) 、 系 统 信息 (System info) 。 项 目 维度 和 管理 员 维度 内 容 有 交叉 ， 但 是 这 些 是 从 不 同 角度 去 观察 “ 云 ”所 


度 有 概览 (Overview) 、 实 例 (Instances) 、 卷 
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得 到 的 结 
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DASHBOARD 
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己 使 用 01 10 Available volumes 
Manage Compute 


Overvew 己 使 用 0 GB / 1000 GB Available volume storage 


Instances 


选择 一 个 月 份 查询 它 的 使 用 情况 : 


rA w| 2013 v ax 


Volumes 


Images & Snapshots 
活路 的 云 主机 : - Active RAM: - 本 月 的 VCPU 小 时 时 间 : 4.88 本 月 的 GB 小 时 时 间 : 0.00 
Access & Security 


Usage Summary 


图 1-5 Horizon 界面 一 览 


1.6.2 ”创建 OpenStack 虚 拟 机 实例 


在 Dashboard 左 侧 导航 栏 中 ， 选 择 “ 项 目 ” 一 “Instances”， 然 后 单 击 “Launch Instance”， 可 完全 通过 图 形 界面 方式 来 创建 虚拟 机 ， 如 图 1-6 所 示 。 


Launch Instance 


Details Access & Security Volume Options 


Instance Source 


image 


cirros-0.3.1-x86 64-uec 


OpenStack 实 战 


Flavor 


Instance Count 


1 


Post-Creation 


Specify the details for launching an instance. 


The chart below shows the resources used by this project 


in relation to the project's quotas. 


Flavor Details 
Name 


VCPUS 

Root Disk 
Ephemeral Disk 
Total Disk 


Project Quotas 
Number of Instances (0) 


Number of VCPUs (0) 


Total RAM (0 MB) 
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图 1-6 创建 虚拟 机 的 页 面 


当 单 击 “Launch Instance” 时 ， 会 弹出 模 态 窗口 ， 在 此 可 进行 创建 实例 的 具体 配置 ， 
启动 后 的 自 定义 初始 化 脚本 (Post-Creation) 。 


实例 细节 的 配置 包括 了 实例 的 来 源 类 型 (镜像 文件 或 快照 文件 ) 、 镜 像 模板 、 实 例 名 、 套 餐 、 创 建 实例 个 数 。 右 侧 还 列 出 了 更 详细 的 信息 ， 供 管理 员 参 考 当前 实例 的 创建 对 整个 项 目 有 何 影 


访问 和 安全 包括 虚拟 机 SSH 密 钥 的 设置 及 安全 组 的 设置 。 磁 盘 配 置 可 以 让 用 户 选 择 是 否 在 卷 存储 上 进行 虚拟 机 的 启动 引导 (boot) 。 自 定义 初始 化 脚本 3 


的 脚本 。 除 了 实例 的 细节 设置 ， 其 他 设置 如 果 没 有 特殊 需求 ， 默 认 即 可 。 当 确认 一 切 设置 无 误 后 ， 可 以 单 击 “Launch” 按 钮 进行 实例 创建 。 


创建 OpenStack 虚 拟 机 实例 前 有 很 多 先决 条 件 ， 如 Horizon 本 身 能 正常 运行 并 对 外 提供 创建 服务 ;建立 在 OpenStack 三 个 核心 组 件 之 上 等 。 
建 实例 所 需要 的 镜像 文件 ， 这 种 镜像 文件 可 以 包含 很 多 格式 ， 大 多 数 都 是 我 们 常见 的 镜像 格式 ， 如 
raw、qdcow2。Nova 负 责 虚 拟 机 生命 周期 的 管理 ， 以 及 宿主 机 资源 调度 。Nova 还 决定 了 虚拟 机 实例 建立 在 哪 一 台 Hypervisor 物 理 机 之 上 。 由 这 三 个 核心 组 件 协作 ，Horizon 将 用 户 的 HTTP 请 求 转换 为 


Keystone 负 责 授 权 认证 、 租 户 管理 、 项 目 权 限 和 配额 以 及 服务 目录 管理 。Glance 负 责 为 Nova 提 供 创 


拟 机 的 配置 。 当 一 切 正常 后 ， 虚 拟 机 将 会 进入 Active 状 态 ， 此 时 用 户 可 以 享受 “ 云 ” 带 来 的 便捷 ， 如 
磁盘 性 能 来 决定 。 有 时 创建 过 程 会 持续 5~ 10 分 钟 。 


m1.tiny 


10 可 用 配额 


20 可 用 配额 


51,200 MB 可 用 配额 


" E 


UFEMAT (Details) 、 访 问 和 安全 (Access&Security) 、 磁 盘 配 置 (Volume Options) ， 以 及 实例 


S 


要 是 实例 在 启动 后 ， 可 以 运行 一 些 用 户 自 定义 


这 三 个 核心 组 件 分 别 是 Keystone、Glance、Nova。 


图 1-7 所 示 。 创 建 所 需 的 时 间 一 般 由 创建 实例 的 镜像 文件 大 小 、 传 输 镜像 图 带宽 ， 以 及 创建 的 Hypervisor 


M dit HEX: admin. Catman 


Instances 


成 功 : Launched instance named 
*OpenStack ZA". 


Instances 中 Launch Instance 


Instance Name IP Address Size Keypair Status Task Power State ”动作 


OpenStack 实 战 10.0.0.2 m1.tiny | 512MB RAM | 1 VCPU | 0 Disk ~ Build No State Associate Floating P More 


Displaying 1 tem 


Instances 


Instan ces 中 Launch Instance 
LJ Instance Name IP Address Size Keypair Status Task Power State 动作 


OpenStack 实 战 10.0.0.2 m1.tiny | 512MB RAM | 1 VCPU | 0 Disk - Active None Running Create Snapshot More 


Displaying 1 item 


图 1-7 虚拟 机 创建 成 功 后 的 界面 提示 


Horizon 并 不 是 唯一 可 以 管理 虚拟 机 的 用 户 界面 。 之 前 提 到 Openstack 还 有 基于 Python 的 CLI， 虚 拟 机 创建 之 后 可 以 通过 Nova-Client 进 行 管 理 。 通 过 命令 行 输入 nova list， 可 以 看 到 所 有 OpenStack 实 
例 的 运行 情况 ， 以 及 实例 相应 的 信息 ， 如 图 1-8 所 示 。 后 续 在 讲解 Nova 组 件 时 ， 将 详细 讲解 各 种 命令 的 操作 及 命令 之 间 的 关联 关系 ， 以 及 如 何 实现 自 定义 命令 、 命 令 行 扩展 ， 还 有 如 何 运用 好 一 系列 的 
Openstack 命 令 来 进行 日 常 的 管理 、 运 维 。 


ubuntugubuntu:-$ nova list 


图 1-8” 列 出 的 虚拟 机 实例 详情 


中 | 


当 虚 拟 机 创建 成 功 后 ， 双 击 虚拟 机 名 ， 进 入 到 这 个 虚拟 机 视图 进行 详细 观察 ， 如 图 1-9 所 示 ， 可 以 看 到 标签 页 ， 包 括 概览 (Overview) 、 日 志 (Log) 、 控 制 台 (Console) 。 概 览 中 可 以 看 到 虚拟 机 的 
一 系列 详细 信息 。 日 志 中 可 以 看 到 虚拟 机 当前 的 启动 引导 日 志 ， 不 用 登录 虚拟 机 就 可 以 看 到 虚拟 机 的 引导 情况 ， 检 查 是 否 有 错误 或 者 异常 发 生 。 通 过 控制 台 界面 ， 可 以 对 虚拟 机 进行 操作 。 这 是 一 个 VNC 控 
制 台 ， 我 们 不 必 像 以 前 使 用 虚拟 机 那样 ， 登 录 到 Hypervisor 端 配置 VNC 端 口 信息 ， 然 后 再 通过 VNC Client 登 录 管 理 虚 拟 机 。OpenStack 将 这 些 日 常 操作 抽象 出 来 ， 进 行 自动 化 ， 整 个 过 程 无 须 用 户 进行 任何 
配置 ， 当 构建 好 Openstack 云 后 ， 剩 下 的 事 将 交 给 OpenSstack 来 做 。 


Instance Detail: OpenStack 实 战 当前 用 户 : admin Stings 


Overvjiew Log Console 


Instance Console 


If console is not responding to keyboard input: click the grey status bar below. Click here to show only console 


Connected (unencrypted) to: QEMU (instance-00000002) 
eveleredhat .com 
6556701 cpuidle: using governor ladder 
.6837021 cpuidle: using governor menu 
.2110121 EFI Variables Facility v0.08 2004-May-17 
. 7458921] TCP cubic registered 
.7737601 NET: Registered protocol family 10 
.8070071 NET: Registered protocol family 17? 
.8357161 Registering the dns resoluer key type 
.8713491 registered taskstats version 1 
.9176881 Magic number: 1:854:124 
.9471741 rtc cmos 00:01: setting system clock to 2013-10-08 11:07:44 UTC ( 
381230464) 
.0007711 BIOS EDD facility v0.16 2004-Jun-25, © devices found 
.0441541 EDD information not available. 
.072889] usb 1-1: neu full-speed USB device number 2 using uhci hcd 
.1185151 Freeing unused kernel memory: 924k freed 
.1577331 Write protecting the kernel read-only data: 12288k 
.1949531 Freeing unused kernel memory: 1632k freed 
.2934091 Freeing unused kernel memory: 1200k freed 


A An an A An a aA an an du 


(a EE E a 


further output written to /dev^ttyuSo 


, 


login as “用 让 ^ user. default password: '. use 'sudo' for root. 
login: _ 


图 1-9 ”查看 虚拟 机 Console (控制 台 ) 


单 击 “More”， 有 更 多 的 操作 可 以 进行 ， 可 以 对 虚拟 机 实例 进行 一 些 操 作 ， 这 些 操作 包括 启动 、 停 止 、 挂 起 、 激 活 、 快 照 、 迁 移 、 备 份 、 诊 断 、 恢 复 、 重 建 、 销 毁 等 一 系列 虚拟 机 生命 周期 管理 。 这 些 
操作 都 由 Nova 提 供 ， 部 分 操作 会 由 其 他 组 件 来 参与 。 对 于 Openstack 这 样 的 一 个 分 布 式 系统 ， 完 成 一 件 事 ， 基 本 上 都 会 涉及 一 系列 的 组 件 。 这 些 组 件 协同 工作 ， 在 “ 云 ” 中 扮演 着 各 种 角色 。 之 后 我 们 将 
具体 探讨 这 些 组 件 在 Openstack 中 扮演 什么 样 的 角色 ， 哪 些 组 件 必 不 可 少 ， 以 及 如 何 通过 各 种 组 件 的 排列 组 合 来 组 建 合适 的 “ 云 ”。 


1.6.3 ”创建 虚拟 机 流程 概述 


本 节 将 介绍 创建 虚拟 机 的 步骤 ， 如 下 : 


1) Horizon 通 过 Keystone 获 取 Compute 组 件 的 访问 地 址 (URL) ， 并 获取 授权 令 牌 (Token) ， 如 图 1-10 所 示 。 


"xl 
Jle | 


2) 携带 授权 令 牌 ， 发 送 创建 虚拟 机 指令 ， 如 图 1-11 所 示 。 
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图 1-10 ”从 Keystone 获 取 令 牌 
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图 1-11 向 Nova 发 送 创 建 虚拟 机 指令 


3) nova-compute 组 件 通过 glance-api 下 载 虚 拟 机 镜像 ，glance 镜 像 中 有 缓存 机 制 ， 通 常 将 缓存 文件 放 入 名 为 base 的 目录 (下 文 将 其 称 为 base 缓 存 ) ， 如 图 1-12 所 示 。 镜 像 分 两 个 阶段 ， 第 一 个 阶段 


是 如 果 base 缓 存 中 没有 此 次 的 虚拟 机 镜像 文件 ， 则 从 Glance 下 载 镜像 到 base 缓 存 ; 第 二 个 阶段 是 从 base 缓 存 复制 到 本 地 镜像 目录 。base 缓 存 可 关闭 ， 默 认为 开启 。 建 议 不 要 修改 此 默认 值 ， 因 为 如 果 每 次 
镜像 都 通过 Glance 下 载 ， 会 消耗 大 量 的 网 络 带 宽 。base 缓 存 的 存在 就 是 为 了 解决 虚拟 机 镜像 文件 传输 消耗 带宽 的 问题 。 
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图 1-12 ”Nova 向 Glance 请 求 镜像 


4) Glance 检 索 后 端 镜像 ，Glance 后 端 存储 不 一 定 要 使 用 Swift， 只 要 能 存放 镜像 的 文件 系统 都 可 以 ， 如 图 1-13 所 示 。 


5) 获取 网 络 信息 ， 决 定 虚拟 机 网 络 模式 及 建立 网 络 连接 ， 如 图 1-14 所 示 。 


6) nova-compute 发 送 启动 虚拟 机 指令 ， 如 图 1-15 所 示 。 


至 此 ， 虚 拟 机 创建 完成 。 


1.64 创建 OpenStack 磁 盘 实 例 


本 节 将 通过 图 形 界面 方式 创建 磁盘 实例 。 在 Dashboard 左 侧 导 航 栏 中 ， 选 择 “ 项 目 ” 一 “Volumes”， 然 后 单 击 右 侧 的 “Create Volume” 按 钮 ， 如 图 1-16 所 示 。 
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图 1-15 启动 虚拟 机 
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1-16 ”磁盘 管理 界面 


创建 磁盘 实例 的 过 程 与 创建 虚拟 机 类 似 ， 在 弹出 的 “Create Volume” 界 面 中 ， 只 需要 进行 选择 ， 填 写 表单 ， 就 可 以 获得 想 要 的 磁盘 ， 如 图 1-17 所 示 。 


填写 完成 后 ， 单 击 “Create Volume” 按钮 即 可 进行 创建 。Volume 创 建 会 交 由 Cinder 进 行 处 理 ， 与 Nova API| 类 似 ，Cinder 也 有 Cinder API 模 块 进行 RESTful 处 理 。 这 些 过 程 与 虚拟 机 实例 创建 类 似 ， 
都 需要 经 过 Keystone 认 证 ， 然 后 交 由 Cinder 组 件 进 行 具体 调度 、 创 建 工作 ，Horizon 则 将 这 一 过 程 展现 给 用 户 ， 如 图 1-18 所 示 。 


Create Volume 


Volume Name Description: 


OpenStack 3c ER fit fix Volumes are block devices that can be attached to 
instances. 


Description 


创建 OpenStack 实 战 磁盘 实例 Volume Quotas 
Total Gigabytes (0 GB) 1,000 GB 可 用 配额 


T 
- Number of Volumes (0) 10 可 用 配额 


Size (GB) 


3 
us 


图 1-17 创建 磁盘 的 向 导 页 面 
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图 1-18 ”查看 已 创建 的 磁盘 


创建 完 磁盘 后 ， 可 以 将 这 块 磁盘 挂 载 到 虚拟 机 实例 上 ， 供 虚拟 机 实例 使 用 。 这 一 挂 载 操 作 并 不 像 传统 的 磁盘 挂 载 方式 ， 虽 然 原理 不 变 ， 但 其 操作 模式 及 服务 模式 发 生 了 变化 ， 只 需要 单 击 界面 进行 
设置 就 可 以 完成 这 一 系列 操作 。 单 击 磁盘 管理 界面 中 的 “Edit Attachments” 按 钮 就 可 以 进行 挂 载 操作 ， 如 图 1-19 所 示 。 


Attachments 
云 主 机 Device 
没有 条 目 显 示 。 


显示 0 个 条 目 


Attach To Instance 
Attach to Instance Device Name 


OpenStack 实 战 (3fb9135c-12c1-4eab-8013-534 | v /devivdc 


Attach Volume 


挂 载 后 ， 磁 盘 管 理 界面 将 显示 挂 载 的 详细 信息 。 通 过 virt-manager 图 形 工具 查看 虚拟 机 即 可 看 到 第 二 块 挂 载 的 磁盘 ， 如 图 1-20 所 示 。 这 块 磁盘 是 热 挂 载 形式 ， 不 需要 虚拟 机 实例 停止 运行 。 


图 1-19 ”通过 管理 界面 挂 载 磁盘 
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图 1-20 ”通过 virt-managet 查 看 已 挂 载 的 磁 瘟 


1.6.5 ”创建 块 存储 流程 概述 
现在 来 了 解 一 下 创建 块 存储 的 流程 ， 如 下 : 
1) Horizon 通 过 Keystone 获 取 Cinder 组 件 的 访问 地 址 (URL) ， 并 获取 授权 令 牌 (Token) ， 如 图 1-10 所 示 。 
2) 携带 授权 令 牌 ， 发 送 创建 块 存储 指令 ， 如 图 1-21 所 示 。 


3) 携带 令 牌 ， 发 送 挂 载 块 存储 指令 ， 如 图 1-22 所 示 。 


4) nova-compute 组 件 发 送 RPC 指 令 以 通知 Cinder 挂 载 块 设备 ， 如 图 1-23 所 示 。 
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图 1-22 请求 挂 载 存 储 设备 
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图 1-23 ”Nova 挂 载 存储 设备 


1.7 OpenStack 体 系 结构 


1.7.1 ”OpenStack 设 计 原 则 


在 介绍 OpenStack 体 系 结构 之 前 ， 需 要 先 了 解 一 下 OpenStack 的 设计 原则 ， 如 下 : 
“ 可 扩展 性 和 伸缩 性 是 设计 OpenStack 的 主要 目标 。 

“ 任何 影响 可 扩展 性 和 伸缩 性 的 特性 必须 是 可 选 的 。 

“一切 应 该 是 异步 的 (如 果 做 不 到 异步 ， 可 参考 第 二 条 ) 。 

“ 所 有 必需 的 组 件 必须 可 水 平 扩展 。 

“ 始终 使 用 无 共享 架构 或 者 分 片 架构 (如 果 不 能 实现 ， 可 参考 第 二 条 ) 。 

“一切 都 是 分 布 式 的 (尤其 应 该 将 业务 逻辑 与 业务 状态 放 在 一 起 ) 。 

“ 接收 最 终 一 致 性 ， 并 在 适当 条 件 下 使 用 。 


“ 测试 一 切 ( 我 们 需要 测试 已 经 提交 的 代码 ， 如 果 用 户 需 要 ， 我 们 将 会 帮助 用 户 测试 ) 。 


1.7.2 OpenStack 架 构 


OpenStack 是 由 一 系列 具有 RESTful 接 口 的 Web 服 务 所 实现 的 ， 是 一 系列 组 件 服务 集合 。 如 图 1-24 所 示 ， 我 们 看 到 的 是 一 个 标准 的 OpenStack 项 目 组 合 的 架构 。 这 是 比较 典型 的 架构 ， 但 不 代表 这 是 
Openstack 的 唯一 架构 ， 我 们 可 以 选取 自己 需要 的 组 件 项 目 ， 来 搭建 适合 自己 的 云 计算 平台 。 
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图 1-24 OpenStack 架 构 一 览 


Openstack 项 目 并 不 是 单一 的 服务 ， 其 含有 子 组 件 ， 子 组 件 内 由 模块 来 实现 各 自 的 功能 ， 如 图 1-25 所 示 。 通 过 消息 队列 和 数据 库 ， 各 个 组 件 可 以 相互 调用 ， 互 相通 信 。 这 样 的 消息 传递 方式 解 耦 了 组 
件 、 项 目 间 的 依赖 关系 ， 所 以 才能 灵活 地 满足 我 们 实际 环境 的 需要 ， 组 合 出 适合 我 们 的 架构 。 每 个 项 目 都 有 各 自 的 特性 ， 大 而 全 的 架构 并 非 适合 每 一 个 用 户 ， 和 譬如 Glance 在 最 早 的 A、B 版 本 中 并 没有 实际 出 
现 应 用 ，Nova 可 以 脱离 镜像 服务 独立 运行 。 当 用 户 的 云 计 算 规模 大 到 需要 管理 多 种 镜像 时 ， 才 需要 像 Glance 这 样 的 组 件 。OpenStack 的 成 长 是 在 生产 环境 中 不 断 被 检验 ， 然 后 再 将 需求 反馈 给 社区 ， 由 社 
区 来 实现 的 一 个 过 程 ， 可 以 说 OpenStack 并 非 脱离 实际 的 理想 化 开源 社区 项 目 ， 而 是 与 生产 实际 紧密 结合 的 ， 可 以 复制 应 用 的 云 计算 方案 。 


< OpenStack End Users 一 一 


图 1-25 ”OpenStack 各 组 件 之 间 的 交互 示意 


ik: 完整 版 本 请 参看 docs.openstack.org/training-guides/content/module001-ch004-openstack-architecture.html。 


18 Openstack 的 开发 资源 


1.8.1 Openstack 社 区 


Openstack 是 由 开发 商 、 企 业 、 服 务 供 应 商 、 研 究 人 员 及 用 户 共 同 组 成 的 全 球 性 的 社区 。 关 注 OpenStack 最 好 的 方式 就 是 访问 OpenStack 社 区 : www.openstack.org， 通 过 社区 可 以 第 一 时 间 了 解 
Openstack 的 动态 。 希 望 下 面 给 出 的 这 些 链接 可 以 帮助 读者 进一步 了 解 OpenStack。 


:OpenStack 峰 会 : https://wiki.openstack.org/wiki/Summit 

:OpenStack 用 户 成 员 : https:/ /wiki.openstack.org/wiki/OpenStackUsersGroup 
:OpenStack 在 线 会 议 : https:/ /wiki.openstack.org/wiki/Meetings 
“OpenStack 邮 件 列表 : https:/ /wiki.openstack.org/wiki/MailingLists 

* OpenStack IRC 频 道 : https:/ /wiki.openstack.org/wiki/IRC 

: OpenStack 维 基 : https:/ /wiki.openstack.org/ 

- OpenStack 博 客 : http://www.openstack.org/blog/category/newsletter/ 

* OpenStack 资 讯 : http://planet.openstack.org/ 

* OpenStack Github: https://github.com/openstack 


: OpenStack I] 28 5] & :. https: / /ask.openstack.org/zh/questions/ 


(1) 在 线 工具 


“ 记事 本 : https://etherpad.openstack.org/ 


- 前 贴 板 : http://paste.openstack.org/ 

(2) 代码 库 

' 核心 项 目 Git 库 : http://git.openstack.org/cgit 

“ 项 目 建 设 工具 : https://github.com/openstack-infra 
- 开发 人 员工 具 : https://github.com/openstack-dev 
(3) 代码 提交 和 审查 

“ 代码 review 系 统 : https://review.openstack.org/ 

“ 代码 合并 建议 : http:/ /status.openstack.org/reviews/ 
- 持续 集成 : http://status.openstack.org/zuul/ 


“用户 和 管理 员 文 档 : http://docs.openstack.org/ 


1.8.2 ”OpenStack 基 金 会 


OpenStack 基 金 会 促进 OpenStack 的 发 展 、 分 销 、 建 设 。 作 为 OpenStack 的 独立 家 庭 ， 基 金 会 已 经 吸引 来 自 87 个 国家 或 地 区 的 850 个 不 同 组 织 的 超过 5600 名 个 人 成 员 ， 获 得 超过 1000 万 美元 的 资金 ， 
履行 OpenStack 的 使 命 一 成 为 无 处 不 在 的 云 计算 平台 。 


OpenStack 基 金 会 的 目标 是 为 开发 人 员 、 用 户 和 整个 生态 系统 提供 一 套 记 录 OpenStack 成 长 足迹 的 共享 资源 ， 使 得 供应 商 和 开发 人 员 在 云 行业 得 到 优秀 的 软件 。 如 同 OpenStack 软 件 本 
身 ，Openstack 基 金 会 成 员 资格 是 免费 的 ， 任 何人 都 可 以 参与 。OpenSstack 社 区 成 员 通 过 技术 贡献 或 者 社区 建设 工作 可 以 参与 其 中 。Openstack 基 金 会 网 址 : https://www.openstack.org/join/。 


如 果 没有 这 么 多 参与 者 提供 各 式 各 样 的 支持 ，Openstack 基 金 会 就 不 可 能 发 展 到 今天 。 想 要 了 解 更 多 OpenStack 的 支持 者 信息 ， 可 以 访问 以 下 网 址 : https://www.openstack.org/foundation, 


1.8.3 ”OpenStack 项 目 资料 
1.Nova 
“项目 主页 : http://launchpad.net/nova 
“项目 代 码 : https://github.com/openstack/nova 
Bug 追踪 : https://bugs.launchpad.net/nova 
' 功能 需求 蓝本 (blueprint) : https://blueprints.launchpad.net/nova 


' 技术 问题 : https:/ /ask.openstack.org/zh/questions/scope:all/sort:activity-desc/page:1 /query:nova/ 


“ 代码 更 改建 议 : https://review.openstack.org/#/q/status:open+project:openstack/nova,n,z 
“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/nova.git;a=summary 


“ 团队 列表 : https://launchpad.net/~nova 


“ 核心 成 员 列 表 : https//review.openstack.org/7 /admin/groups/25,members 
2.Glance 
“ 项目 主页 : http://launchpad.net/glance 
“ 项目 代码 : https://github.com/openstack/glance 
Bug 追踪 : https://bugs.launchpad.net/glance 
“ 特性 需求 (blueprint) : https://blueptints.launchpad.net/glance 
- 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:glance/page:1/guery:glance/ 
“ 代码 更 改建 议 : https:/ /review.openstack.org/7 /q/status:open-project:openstack// glance,n,z 
“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/glance.git;a=summary 
“ 团队 列表 : https://launchpad.net/~glance 
“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/13,members 
3.Keystone 
“项目 主页 : http://launchpad.net/keystone 
“项目 代码 : http://github.com/openstack/keystone 
"Bug 追踪 : https://bugs.launchpad.net/keystone 
- 特性 需求 (blueprint) : https://blueprints.launchpad.net/keystone 
' 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:keystone/page:1 /query:keystone/ 
“ RA E REDU https://review.openstack.org/#q,status:open+project:openstack/keystone,n,z 
“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/keystone.git;a=summary 
| 团队 列表 : https://launchpad.net/~keystone 
“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/9,members 
4.Horizon 
“ 项目 主页 : http://launchpad.net/horizon 
“项目 代 码 : http://github.com/openstack/horizon 
“Bug 追踪 : https://bugs.launchpad.net/horizon 
“ 特性 需求 (blueprint) : https://blueprints.launchpad.net/horizon 
“ 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:horizon/page:1/query:horizon/ 
“ 代码 更 改建 议 : https://review.openstack.org/#/q/status:open+project:openstack/horizon,n,z 
“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/horizon.git;a=summary 
“ 团队 列表 : https://launchpad.net/~horizon 
“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/43,members 
5.Swift 
“ 项目 主页 : https://launchpad.net/swift 
“ 项目 代码 : https://github.com/openstack/swift 
“Bug 追踪 : https://bugs.launchpad.net/swift/+bugs 
“ 特性 需求 (blueprint) : https://blueprints.launchpad.net/swift 
- 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:swift/page:1/query:swift/ 
“ 代码 更 改建 议 : https://review.openstack.org/#/q/status:open+project:openstack/swift,n,z 
“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/swift.git;a=summary 
“ 团队 列表 : https://launchpad.net/~swift 


“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/24,members 


6.Cinder 


“项目 主 页 : https://launchpad.net/cinder 

. 项 目 代码 : https://github.com/openstack/cinder 

Bug 追踪 : https:/ /bugs.launchpad.net/cinder/-- bugs 

“ 特性 需求 (blueprint) : https://blueprints.launchpad.net/cinder 

“ 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:cinder/page:1/query:cinder/ 
“ 代码 更 改建 议 : https://review.openstack.org/#/q/status:opent+project:openstack/cinder,n,z 

“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/cindet.git;a=summary 

- 团队 列表 : https://launchpad.net/~cinder 


“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/83,members 
7.Neutron 


“项目 主 页 : https://launchpad.net/neutron 
“ 项目 代 码 : https://github.com/openstack/neutron 
Bug 追踪 : https://bugs.launchpad.net/neutron/+bugs 
“ 特性 需求 (blueprint) : https://blueprints.launchpad.net/neutron 
- 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:neutron/page:1 /query:neutron/ 
“ 代码 更 改建 议 : https://review.openstack.org/#/q/status:open+project:openstack/neutron,n,z 
“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/neutron.git;a=summary 
“ 团队 列表 : https://launchpad.net/~neutron 
“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/38,members 
8.Ceilometer 
“ 项目 主 页 : https://launchpad.net/ceilometer 
“项目 代码 : https://github.com/openstack/ceilometer 
“Bug 追踪 : https://bugs.launchpad.net/ceilometer/+bugs 
“ 特性 需求 (blueprint) : https://blueprints.launchpad.net/ceilometer 
' 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:ceilometer/page:1/query:ceilometer/ 
“ 代码 更 改建 议 : https://review.openstack.org/#/q/status:open+project:openstack/ceilometer,n,z 
“ 代码 变化 : https://review.openstack.org/gitweb?p=openstack/ceilometer.git;a=summary 
“ 团队 列表 : A 
“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/107,members 
9.Heat 
“项目 主 页 : https://launchpad.net/heat 
' 项目 代码 : https://github.com/openstack/heat 
Bug 追踪 : https://bugs.launchpad.net/heat/+bugs 
- 特性 需求 (blueprint) : https://blueprints.launchpad.net/heat 
' 技术 问题 : https://ask.openstack.org/zh/questions/scope:all/sort:activity-desc/tags:heat/page:1 /query:heat/ 
“ 代码 更 改建 议 : https:/ /review.openstack.org/£ /q/status:open- project:openstack /heat,n,z 
“代码 变化 : https://review.openstack.org/gitweb?p=openstack/heat.git;a=summary 
: 团队 列表 : https://launchpad.net/~heat 


“ 核心 成 员 列 表 : https://review.openstack.org/#/admin/groups/114,members 


1.99 ”OpenStack 非 核心 项 目 介 绍 


1.9.1 “lronic 项 目 介绍 


Ironic/gOpenStackBS HL mE —, SD5itOpenStack Nova 管 理 的 是 虚拟 机 的 生命 周期 ， 那 么 Ironic 就 是 为 了 管理 物理 机 的 生命 周期 。 它 提供 了 一 系列 管理 物理 机 的 API 接 口 ， 可 以 对 “ 裸 ” 操 作 系 
统 的 物理 机 进行 管理 ， 从 物理 机 上 架 安装 操作 系统 到 物理 机 下 架 维修 。 我 们 可 以 像 管理 虚拟 机 一 样 地 管理 物理 机 ， 创 建 一 个 hova-compute 物 理 节 点 不 再 需要 人 工 部 署 ， 只 需 告诉 lronic， 然 后 自动 化 地 从 
镜像 模板 中 加 载 操作 系统 到 nova-compute 安 装 完成 即 可 。OpenStack 管 理 虚拟 机 已 经 非常 成 熟 ， 通 过 Nova 我 们 可 以 快速 自动 化 地 创建 虚拟 机 。 但 是 在 这 之 前 需要 搭建 物理 环境 ， 需 要 人 工地 管理 多 台 设 
备 ，OpenStack 并 没有 提供 物理 环境 的 管理 ， 我 们 依然 需要 解决 这 些 基 础 环境 的 搭建 问题 ， 由 此 Ironic 应 运 而 生 ， 解 决 物理 机 的 添加 、 删 除 、 电 源 管理 、 操 作 系统 部 署 等 问题 。Ironic 让 OpenStack 不 仅 停 
留 在 软件 层面 解决 云 计算 问题 。 供 应 商 可 以 对 应 自己 的 服务 器 开发 Ironic 插 件 。 到 目前 为 止 ，Ironic 还 处 于 实验 阶段 ， 它 的 目标 是 成 为 物理 机 管理 的 成 熟 解决 方案 。 


提 到 Ironic 项 目 ， 就 不 得 不 说 Nova 项 目 中 的 baremetal 驱 动 。baremetal 是 Nova 中 的 后 端 驱动 ， 它 与 libvirt 驱 动 、XenAPI 驱 动 、 VMware 驱动 一 样 ， 只 不 过 它 用 来 管理 没有 虚拟 化 的 硬件 ， 主 要 通过 
PXE 和 1IPMI 进 行 控制 管理 。 这 是 一 个 可 插 拔 式 的 插件 ， 有 了 它 ， 配 置 和 管理 服务 器 的 硬件 就 可 以 使 用 Heat 或 salt-cloud 来 完成 。baremetal 并 不 能 直接 使 用 ， 还 需要 额外 的 环境 准备 ， 如 要 预先 配置 |PMI|、 
配置 DHCP 服 务 、 开 启 PXE 等 。Grizzy 版 本 中 已 经 含有 baremetal 驱 动 ， 但 这 仍然 是 实验 性 质 。 


在 Nova 中 ，baremetal 的 概念 最 早 是 由 USC/ISI 和 NTT-Docomo 提 出 的 。USC/ISl 是 研究 超 算 的 教育 机 构 ， 而 NTT-Docomo 是 一 家 日 本 公司 。 物 理 机 与 虚拟 机 管理 有 许多 类 似 的 地 方 ， 但 又 有 一 些 差 
异 。 最 早 设想 为 通过 Nova 统 一 管理 ， 但 在 开发 中 ， 物 理 机 与 虚拟 机 的 差异 导致 baremetal 不 得 不 从 Nova 中 剥离 ， 因 为 : 


* baremetal 驱动 有 自己 的 数据 库 ， 在 Nova 一 个 项 目 中 有 两 套数 据 库 不 合适 。 
: 物理 机 和 虚拟 机 存储 的 数据 信息 不 同 ， 将 两 个 有 差异 的 实体 放 在 同一 个 API 中 获取 信息 ， 在 设计 和 使 用 上 都 比较 别 担 。 


- 物理 机 和 虚拟 机 的 操作 有 差异 ， 如 discovery、hardware RAID configuration, firmware updates、burn-in 等 操作 。 物 理 机 和 虚拟 机 不 能 简单 同 质 化 。 


社区 经 过 讨论 ， 决 定 将 baremetal 从 Nova 中 剥离 出 来 ， 命 名 为 Ironic， 主 要 用 来 实现 对 物理 机 的 裸 机 管理 。 


下 面 来 了 解 一 下 baremetal 和 Ironic 在 执行 创建 时 的 区 别 。 


下 面 是 通过 PXE 部 署 硬件 物理 机 的 步 又， 如 图 1-26 所 示 。 


“ 裸 ” 服 务 器 节点 


图 1-26 ”通过 PXE 方 式 部 署 硬件 
1) 通过 “nova boot” 命 令 创建 物理 机 ，nova-api 组 件 处 理 命令 并 将 创建 消息 发 送 到 消息 队列 中 。 


2) nova-scheduler 接 收 到 消息 队列 中 的 消息 ， 判 断 是 否 为 baremetal 节 点 ， 如 果 是 ， 则 将 调度 后 的 主机 节点 信息 及 创建 消息 放 入 消息 队列 。 


3) nova-compute 监 听 消 息 队列 发 现 创 建 消息 并 处 理 ， 调 用 baremetal 驱 动 ， 通 过 实现 spawn() 方 法 来 调用 创建 。 


4) nova-compute 查 询 baremetal 数 据 库 ， 获 取 节 点 信息 。 
5) Neutron 负 责 设置 网 络 相关 信息 。 

6) nova-compute 开 始 从 Glance 获 取 镜 像 。 

7) nova-compute 激 活 bootloader。 


8) 通过 IPMI 开 启 物理 机 电源 。 


9) 通过 PXE 加 载 bootloader， 暴 露 iSCS1， 通 过 nova-baremetal-deploy-helper 将 镜像 中 的 信息 写 入 服务 器 。 


10) 重新 启动 服务 器 ， 加 载 操作 系统 。 


11) 更 新 数据 库 中 物理 机 的 信息 状态 。 
12) 更 新 Nova 中 的 instance 状 态 信息 。 


Ironic 的 部 署 流程 与 baremetal 类 似 ， 如 图 1-27 所 示 。 


“ 裸 ” 服 务 器 节点 


消息 队列 


DL 
— 4 


[81-27 ”通过 Ironic 部 署 硬件 


1) 通过 nova boot 命 令 创建 物理 机 ，nova-api 组 件 处 理 命令 ， 并 将 创建 消息 发 送 到 消息 队列 中 。 

2) nova-scheduler 接 收 到 消息 队列 中 的 消息 ， 判 断 是 否 为 baremetal 节 点 ， 如 果 是 ， 则 将 调度 后 的 主机 节点 信息 及 创建 消息 放 入 消息 队列 。 
3) nova-compute 监 听 消息 队列 发 现 创建 消息 并 处 理 ， 调 用 baremetal 驱 动 ， 通 过 实现 spawn() 方 法 来 调用 创建 。 

4) nova-compute 通 过 Ironic API 获 取 硬 件 注册 信息 。 

5) Neutron 负 责 设置 网 络 相关 信息 。 

6) nova-compute 开 始 从 Glance 获 取 镜 像 。 

7) nova-compute 通 过 Ironic API 发 送 部 署 请 求 。 

8) Ironic API 与 lronic Conductor 组 件 交互 并 激活 bootloader。 

9) 通过 IPMI 开 启 物理 机 电源 。 

10) 通过 PXE 加 载 bootloader， 暴 露 iSCS1， 通 过 nova-baremetal-deploy-helper 将 镜像 中 的 信息 写 入 服务 器 。 


11) 重新 启动 服务 器 ， 加 载 操作 系统 。 


可 以 看 到 ，Ironic 对 于 硬件 的 异 构 问题 主要 是 通过 多 个 后 端 驱动 的 结合 来 解决 的 ， 如 图 1-28 所 示 。 


图 1-28 中 的 接 [ 


介绍 如 下 。 


: Deploy Interface: 实现 把 镜像 部 署 到 物理 机 中 。 
* Power Interface: 实现 对 物理 机 电源 的 管理 。 
- Console Interface: 实现 通过 硬件 直接 得 到 物理 机 Console (控制 台 ) 。 


- Vendor Interface: 厂商 自 定 义 行为 。 


未 来 的 几 个 版 本 内 成 为 核心 项 目 。 


Ironic 的 安装 


下 面 介 绍 一 下 Ironic 的 安装 流程 。 


1) 通过 git clone 获 取 最 新 的 DevStack。 获 取 链 接地 址 为 : 
git://github.com/openstack-dev/devstack.git 


2) 进入 devstack 目 录 修 改 localrc 文 件 ， 添 加 如 下 内 容 : 


图 1-28 ”Ironic 硬 件 驱 动 的 接口 


因为 Ironic 项 目 结构 与 大 部 分 的 OpenStack 结 构 类 似 ， 所 以 是 标准 的 OpenStack 项 目 。 目 前 ， 由 于 


项 目 时 间 较 短 ， 因 


此 并 不 是 很 成 熟 ， 但 是 从 Ironic 想 解决 的 问题 以 及 社区 的 支持 来 看 ，Ironic 有 希望 在 


# Enable Ironic API and Ironic Conductor 
enable service ir-api 
enable service ir-cond 


+ 

使 用 Neutron 

代替 nova-network 

; Ironic 

只 支持 Neutron 

disable service n-net 
enable service q-svc 
enable service q-agt 
enable service q-dhcp 
enable service q-13 
enable service q-meta 
enable service neutron 
enable service q-lbaas 


U 

按 需要 替换 password 
ADMIN PASSWORD-password 
MYSQL PASSWORD-password 
RABBIT PASSWORD-password 
SERVI CE PAS SWORD-password 


3) 运行 stack.sh 脚 本 。 命 令 如 下 : 


./stack.sh 


接 下 来 就 是 等 待 Ironic 安 装 完成 了 。lronic API 地 址 为 http://<ip>:6385。 


1.9.2 Tempest 项 目 介 绍 


Tempest 为 OpenStack 的 功能 测试 、 集 成 测试 项 


， 它 被 设计 为 可 在 各 种 不 同 项 


中 使 


测试 。 它 可 以 验证 代码 的 正确 性 ， 已 经 成 为 OpenStack 项 目 中 不 可 或 缺 的 组 成 部 分 。 


Tempest 框 架 主要 基于 unittest2 和 nose 来 实现 ， 它 通过 调 | 
库 ， 可 以 说 相当 强大 。 


Openstack APISEjII 


于 以 下 几 个 测试 : 


Tempest £} 


“API 测试 


ZEILE 


- 复杂 场景 测试 


“ 压力 测试 


“第 三 方 API 测 试 


每 一 项 都 对 应 Tempest 中 的 一 个 目录 ， 每 个 目录 中 包含 不 同类 型 的 测试 。README.rst 中 记录 着 每 个 目录 的 作 


Tempest 目 录 结构 如 下 : 


EN 


api: API 的 测试 集 。 


2) di: OpenStack 的 命令 行 工 具 测 试 集 。 


3) common: 一 些 公共 的 工 


类 和 函数 。 


4) scenario: 对 OpenStack 的 常 


5) services: Tempest 实 现 的 OpenStack API Client， 主 要 是 避免 官方 Client 中 含有 Bug。 


试 功 能 ， 响 应 验证 。 测 试 的 主要 风格 是 按照 pyunit 来 确定 的 ， 同 时 使 有 


使 用 Tempest 测 试 一 个 OpenStack 环 境 ， 先 要 在 各 个 OpenStack 项 目的 配置 文件 中 设置 Tempest， 在 etc/ 文 件 夹 下 有 一 个 tempest.conf.sample 供 参考 使 用 。 设 
过 “nosetests tempest” 命 令 运行 所 有 测试 案例 ， 也 可 以 指定 执行 某 个 测试 类 库 中 的 测试 用 例 。 


。 在 OpenStack 核 心 项 目 中 的 单元 测试 代码 中 经 常 可 以 看 到 它 的 身影 ， 在 一 些 孵 化 项 目 中 也 会 使 用 Tempest 去 


了 testtools 和 testresources 等 多 个 测试 工 


完成 后 ， 就 可 以 直接 通 


， 以 及 


场景 进行 测试 ， 包 括 基本 的 启动 虚拟 机 、 挂 载 volume 和 网 络 配置 等 。 


良好 的 测试 示例 及 测试 规则 。 


6) stress: 压力 测试 集 ， 利 用 多 进程 (multiprocessing) 同时 对 OpenStack 发 起 请 求 进行 测试 。 


7) thirdparty: EC2 等 第 三 方 兼容 API 测 试 集 。 


8) whitebox: 白 盒 测 试 集 。 


1.API 测 试 


API 测 试 是 验证 Openstack 的 API。 它 不 应 该 利用 现 有 的 Openstack Python 客户 端 实现 ， 而 是 应 该 使 用 Tempest 组 件 来 实现 。 同 时 测试 XML 和 JSON 格 式 的 请 求 。 脱 离 官方 客户 端 ， 可 以 让 我 们 传递 无 
效 或 非法 的 JSON 和 XML 请 求 来 查看 这 些 请 求 结 果 ， 以 验证 API 的 健壮 性 。API 测 试 应 由 项 目 开发 者 自己 来 完成 ， 比 如 对 项 目 进行 功能 性 测试 ， 或 者 使 用 某 些 单元 测试 框架 。 


2. 命 令 行 测试 


命令 行 测试 使 用 OpenStack 的 命令 行 与 OpenStack 中 的 项 目 组 件 进行 交互 。 命 令 行 测试 中 ， 单 元 测试 是 有 点 困难 的 ， 因 为 不 像 服务 器 测试 ， 它 没有 实现 访问 服务 器 的 代码 。Tempest 运 行 于 一 个 部 署 好 
的 OpenStack 环 境 ， 这 样 就 合乎 逻辑 了 ， 可 以 在 服务 器 上 直接 执行 命令 行 。 


3. 复 杂 场 景 测试 


复杂 场景 测试 是 通过 各 种 复杂 的 OpenStack 调 用 流程 来 测试 OpenStack 功 能 。 它 由 一 系列 经 典 场景 组 成 ， 需 要 多 个 OpenStack 项 目 支 持 来 完成 这 一 系列 测试 。 场 景 测试 可 以 使 用 OpenStack Python 
户 端 。 


4. 压 力 测试 


压力 测试 主要 设计 为 测试 OpenStack 在 高 工作 负载 中 运行 时 会 出 现 什么 问题 。 多 种 工具 可 以 帮助 检测 OpenStack 在 高 负载 时 出 现 的 问题 ， 如 追溯 


ar 


5. 第 三 方 API 测 试 


许多 Openstack 项 目 支 持 第 三 方 API， 如 Nova 支 持 EC2 的 API。Tempest 验 证 第 三 方 API， 必 须 独立 于 OpenSstack 正 常 的 测试 流程 。 第 三 方 API 测 试 应 该 独立 于 Openstack 本 身 的 逻辑 。 


第 2 章 ”OpenStack 的 安装 


2.1 在 Ubuntu 上 使 用 二 进 制 包 安装 


笔者 写本 书 的 时 候 ，OpenStack 已 经 发 展 到 Havana 版 本 ， 几 大 主流 的 Linux 发 行 版 本 都 会 将 OpenStack 的 源 代码 做 成 各 自 平台 的 二 进 制 安装 包 ， 以 供用 户 使 用 。 随 着 OpenStack 使 用 的 人 越 来 越 多 ,发 
行 版 本 对 Linux 的 支持 力度 也 越 来 越 大 ， 就 目前 来 看 ，Ubuntu (Debian) 、RedHat、OpenSUSE 都 有 相应 的 包 和 开发 定制 的 安装 程序 。 当 然 ， 各 个 Linux 平 台 上 的 包 制作 发 布 的 时 间 各 有 快慢 ， 同 时 支持 的 
版 本 更 新 也 有 快 有 慢 。Ubuntu 是 更 新 最 快 的 发 行 版 本 之 一 。RedHat 也 越 来 越 重 视 OpenStack， 更 新 包 的 速度 也 比 以 前 快 很 多 。 这 里 先 以 Ubuntu 作为 底层 的 操作 系统 ， 因 为 Ubuntu 从 OpenStack 的 
Cactus 版 本 开始 就 将 其 作为 自身 一 个 云 计算 的 软件 ， 同 时 ， 社 区 对 Openstack 的 支持 很 好 ， 网 络 上 很 多 文档 都 是 以 Ubuntu 为 操作 系统 进行 部 署 安装 的 ， 并 且 Openstack 的 开发 人 员 是 在 Ubuntu 上 进行 
Openstack 的 开发 的 ， 就 目前 情况 来 看 ， 其 支持 度 最 好 。 


本 节 将 会 介绍 如 何在 Ubuntu 12.04 LTS 上 安装 Keystone、Glance、Nova、Neutron、Cinder 和 Horizon 这 几 个 组 件 ， 
点 。 这 4 个 节点 的 名 字 只 是 按照 它们 需要 完成 的 任务 来 命名 的 ， 并 不 是 说 它们 有 特定 的 名 字 。 


中 使 用 4 台 服 务 器 ， 分 别 作为 controller、network、compute、volume 节 


2.1.1 控制 节点 的 安装 
在 controller 节 点 上 计划 部 署 如 下 组 件 : 
- RabbitMQ 
- MySQL 
* Keystone 
* Glance 
: Neutron 
* Nova 中 除去 nova-compute 的 其 他 组 件 
. Cinder 中 除去 cinder volume 的 其 他 组 件 
: Horizon 


下 面 详细 介绍 一 下 各 个 组 件 。 


RabbitMQ: 在 OpenStack 中 ， 各 个 服务 之 间 是 通过 消息 来 交互 的 。 因 为 OpenStack 使 用 AMQP (高 级 消息 队列 协议 ) 作为 其 消息 传递 的 技术 ， 所 以 RabbitMQ、Qpid、ZeroM Q 等 支持 AMQP 的 软 
件 都 是 被 OpenStack 所 支持 的 。 这 里 会 使 用 RabbitMQ， 因 为 它 是 第 一 个 被 OpenStack 使 用 的 消息 传递 的 软件 。OpenStack 通 过 AMQP 实 现 RPC 的 服务 ， 来 保证 不 同 组件 之 间 的 通信 ，RabbitMQ 是 
controller 中 一 个 非常 关键 的 服务 。RabbitMQ 结 构图 如 图 2-1 所 示 。 


Nova-Manage 


虚拟 机 实例 


镜像 


虚拟 机 配置 
共享 他 池 


MySQL: OpenStack 所 使 用 的 数据 库 。 包 括 Nova、Glance、Cinder 等 在 内 的 组 件 都 会 建立 自己 的 数 所 


Keystone: 


VM 实例 
安全 组 
外 部 磁盘 卷 
VM 快照 
VM 镜像 

IP 地 址 
SSH 4 

可 用 域 


项 目 
用 户 
角色 
网 络 
VPN 


本 地 方法 


OpenStack API 


Openstack 的 用 户 认 证 组 件 。 它 的 功能 主要 是 建立 管理 项 目的 用 户 和 各 种 服务 端 


Glance: 


来 存放 管理 虚拟 机 镜像 和 快照 的 服务 ， 这 也 是 一 个 最 小 架构 中 必须 有 的 服务 。 


Neutron: 


Nova (除去 nova-compute 的 其 他 组 件 ) : 这 里 不 包括 nova-compute， 因 为 Controller 节 点 不 负责 运行 虚拟 机 。Nova 是 个 至 关 生 


来 提供 虚拟 机 网 络 通 信 的 组 件 。 


成 虚拟 机 工作 的 主要 服务 。 


Cinder (除去 Cinder-volume 的 其 他 组 件 ) : 上 


Horizon: OpenStack 的 Web 管 理 页 面 ， 使 


1. 系 统 环境 准备 


本 地 方 


法 


对 象 存储 


服务 


图 2-1 


RabbitMQ 交 互 图 


居 库 ， 保 存 一 些 必要 的 数据 。 


， 以 及 进行 


在 安装 部 署 OpenStack 之 前 ， 首 先 需要 做 一 些 安装 额外 软件 和 配置 网 络 等 准备 ， 主 要 包括 以 下 几 个 部 分 : 


户 的 身份 认证 。 要 使 


Django 框 架 开发 。Web 管 理 页 面包 含 了 日 常 使 用 的 大 部 分 功能 ， 提 供给 用 户 一 个 最 直观 的 展现 方式 。 很 多 简 齐 


Openstack 的 任意 AP|， 


计算 
控制 器 


第 一 步 就 必须 通过 Keystone 的 验证 。 


要 的 组 件 ， 也 是 个 相对 庞大 的 组 件 ， 其 中 有 很 多 服务 ， 它 是 进行 生 


来 创建 、 删 除 及 管理 volume (虚拟 磁盘 卷 ) ， 以 及 给 volume 做 快照 等 服务 的 组 件 。 


“ 操作 系统 为 Ubuntu 12.04 LIS， 最 小 化 安装 即 可 。 在 安装 系统 的 时 候 ， 人 安装 openssh-server， 分 区 尽量 能 有 30GB 空 间 ， 用 来 完成 这 个 测试 环境 。 


:网络 连接 和 IP 设 置 。 需 要 两 个 以 太 网 口 ， 分 配 两 个 独立 的 网 络 。 


- 添加 OpenStack Havana 版 本 的 软件 包 源 到 系统 中 ， 并 且 更 新 系统 。 


' 安装 NTP 服 务 。 


“ MySQL, 


安装 MySQL 数 据 库 和 Python 的 MySQL 库 。 


“RabbitMQ， 人 安装 Rabbitmq-server 作 为 OpenStack 的 AMQP。 


(1) 网 络 | 


PRE 


按照 架构 的 设计 ，controller 需 要 两 个 网 口 ， 连 接 两 个 网 段 。 


的 二 次 开发 工作 都 是 从 Horizon 开 始 的 。 


eth0 所 在 的 网 段 是 一 个 用 户 可 访问 的 网 段 ， 在 本 章 中 ， 把 这 个 网 络 命名 为 network-1， 将 会 通过 Web 访 问 这 个 eth0 所 使 用 的 IP 来 进行 登录 Web 的 操作 。 举 例 来 说 ， 如 果 笔 者 现在 的 PC 配置 的 IP 是 
10.10.101.10，22 位 的 掩 码 ， 那 么 笔者 的 controllet 的 eth0 可 以 配置 为 10.10.101.10/22 这 个 网 段 中 任何 没有 使 用 的 IP 地 址 。 


:eth1 所 在 的 网 段 是 一 个 私有 的 管理 网 段 ， 在 本 章 中 ， 把 这 个 网 络 命名 为 network-2。 在 实际 环境 中 ， 所 有 的 节点 ， 无 论 是 conttoller， 还 是 计算 节点 ， 网 络 节点 都 需要 有 一 个 网 口 连接 这 个 网 段 ， 所 有 的 数 
据 库 连接 ， 以 及 RabbitMQ 的 通信 使 用 的 都 是 这 个 网 口 。 如 果 用 SSH 登 录 来 进行 修改 配置 等 工作 ， 也 应 接 入 这 个 网 段 进行 操作 。 如 果 需 要 监控 OpenStack 环 境 中 的 服务 器 和 虚拟 机 ， 也 建议 通过 接 入 这 个 网 段 进 
行 。 这 个 网 段 不 需要 有 能 访问 外 部 网 络 的 功能 。 在 一 个 简单 的 模型 中 ， 只 要 把 这 些 网 口 接 入 到 一 台 交 换 机 上 即 可 ， 示 例如 下 所 示 : 


# cat /etc/network/interfaces 

# network-1 Internet 

auto eth0 

iface eth0 inet static 
address 10.10.101.10 
netmask 255.255.252.0 
network 10.10.100.0 
broadcast 10.10.103.255 
gateway 10.10.100.1 
dns-nameservers 8.8.8.8 

# network-2 Management 

auto ethl 

iface ethl inet static 
address 10.80.80.10 
netmask 255.255.255.0 


以 上 是 笔者 环境 中 的 网 络 配置 文件 ， 读 者 可 以 根据 自己 环境 的 实际 情况 进行 修改 ， 然 后 重启 服务 器 网 络 。 命 令 如 下 ， 提 示 符 # 的 命令 操作 表示 是 在 root 用 户 环境 下 进行 的 操作 。 


# /etc/init.d/networking restart 


(2) 添加 Havana 的 源 


Ubuntu 12.04 默 认 的 Openstack 的 版 本 是 Essex 版 本 ， 如 果 不 安装 其 他 版 本 的 源 ， 那 么 默认 命令 安装 的 都 是 Essex 版 本 的 软件 包 ， 这 点 需要 用 户 注意 。 此 处 ， 要 加 入 Openstack 软 件 包 的 Havana 的 源 ， 
然后 更 新 一 下 系统 的 软件 包 信息 和 已 安装 的 软件 。 命 令 如 下 : 


# apt-get install 
-y python-software-properties 
# add-apt-repository cloud-archive:avana 


加 入 新 的 源 后 会 在 /etc/apt/sources.list.d/ 目 录 下 多 出 一 个 Havana 源 的 文件 ， 如 下 所 示 : 


# apt-get update 
# apt-get upgrade 


# apt-get dist-upgrade 
E 


更 新 完 系 统 后 可 以 重启 ， 也 可 以 等 安装 完 OpenSstack 后 再 重启 。 


(3) 安装 NTP 服 务 


在 整个 Openstack 集 群 中 ， 规 模 可 以 从 几 个 节点 到 几 十 个 节点 ， 甚 至 几 百 个 ， 为 了 保证 这 些 集群 中 的 节点 互相 通信 正常 ， 需 要 使 各 个 节点 的 时 间 一 致 ， 误 差 不 能 太 大 ， 因 此 需要 一 台 NTP 服 务 器 来 提供 
时 间 同 步 ， 在 这 个 测试 环境 中 ， 选 择 在 控制 节点 上 安装 NTP 服 务 。 命 令 如 下 : 


# apt-get install 
-y ntp 


(4) 安装 MySQL 数 据 库 


Openstack 的 主要 组 件 都 需要 数据 库 的 支持 。OpenStack 支 持 MySQL、PostgreSQL、SQLite。 在 这 个 测试 环境 中 ， 选 择 MySQL 作 为 数据 库 。 控 制 端 安装 MySQL 的 Server， 节 点 通过 Python 的 
MySQL 客 户 端 模块 连接 到 MySQL Server。 命 令 如 下 : 


# apt-get install 
-y mysql-server python-mysqldb 


Qi 安装 MySQL 的 过 程 中 ， 会 提示 创建 MySQL 的 root 密 码 。 


默认 MySQL 只 监听 127.0.0.1， 而 在 实际 的 生产 环境 中 ， 出 于 安全 考虑 ， 数 据 库 通信 经 过 的 是 管理 网 段 ， 只 需 让 MySQL 监 听 管 理 网 的 IP。 在 这 个 安装 实例 中 ， 可 以 将 管理 网 IP 设 置 为 10.80.80.10。 重 启 
MySQL 使 配置 生效 。 代 码 如 下 : 


# sed 
-I"s/127.0.0.1/10.80.80.10/" /etc/mysql/my.cnf 
# service mysql restart 


(5) 安装 Messaging 服 务 


OpenStack 组 件 之 间 的 通信 和 需要 通过 支持 AMQP 的 Messaging 服 务 软件 。OpenStack 支 持 的 有 RabbitMQ、Qpid 和 ZeroMQ。 这 里 安装 RabbitMQ。 命 令 如 下 : 


# apt-get install -y rabbitmq-server 


安装 RabbitMQ 服 务 软 件 时 ，RabbitMQ 默 认 用 户 guest 的 密码 是 guest， 出 于 安全 考虑 ， 用 户 可 以 在 实际 环境 中 更 改 密码 。 如 果 用 户 的 RabbitMQ 启 动 失败 ， 那 么 可 能 是 由 于 /etc/hosts 中 127.0.0.1 所 
对 应 的 主机 名 和 使 用 命令 hostname 后 的 结果 不 一 致 ， 此 时 可 以 党 试 在 /etc/hosts 的 localhost 前 面 把 hostname 加 入 ， 然 后 再 启动 RabbitMQ。 修 改 guest 密 码 的 命令 是 : 


# rabbitmqctl change password guest NEW PASSWORD 


至 此 ， 前 置 工作 已 经 完成 ， 下 面 可 以 开始 安装 OpenStack 了 。 


2. 安 装 部 署 Keystone 


把 Keystone 作 为 安装 Openstack 的 第 一 步 ， 因 为 它 是 整个 Dpenstack 的 认证 系统 ， 就 好 比 屋子 的 一 扇 门 ， 只 有 通过 了 这 扇 门 ， 才 能 进行 后 面 的 操作 。 另 外 ，Keystone 负 责 OpenStack 的 用 户 管理 ， 只 
有 创建 了 用 户 ， 才 能 以 这 个 用 户 的 身份 进入 这 扇 门 。 


安装 配置 Keystone 的 过 程 主要 分 为 下 面 几 步 : 


- 安装 软件 包 和 修改 配置 文件 。 

- 创建 Keystone 的 数据 库 ， 并 建立 Keystone 的 表 结 构 。 
“ 启动 服务 ， 确 认 服 务 正 常 运 行 。 验 证 Keystone 可 以 使 用 。 
- 创建 Keystone 的 管理 员 用 户 。 

© 定义 Keystone 使 用 的 Services 和 API Endpoints o 


“ 以 创建 的 用 户 来 使 用 Keystone 客 户 端 命令 行 。 


(1) 安装 和 配置 Keystone 


直接 安装 Keystone 一 个 包 即 可 ， 系 统 同 时 会 自动 安装 Python-keystoneclient 的 客户 端 包 ， 其 命令 如 下 : 


# apt-get install -y keystone 


Keystone 的 配置 文件 放 在 /etc/keystone 目 录 下 ， 要 修改 的 主要 是 keystone.conf 这 个 文件 。 主 要 修改 以 下 几 个 参数 : 


4 vi /etc/keystone/keystone.conf 

admin token = openstack 

debug - True 

verbose - True 

connection = mysql://keystoneuser:openstack(localhost/keystone 


“ admin token: 这 个 选项 至 关 重 要 ， 可 以 将 其 比喻 成 获取 Keystone 管 理 权限 的 “钥匙 ”。 在 这 里 可 以 设置 一 个 复杂 的 字符 事 ， 因 为 太 简单 的 字符 串 容 易 被 破解 。 由 于 是 测试 环境 ， 笔 者 就 用 openstack 这 
个 字符 串 作 为 admin 的 token。 此 时 ， 因 为 在 Keystone 中 还 未 建立 任何 用 户 ， 所 以 这 个 token 和 用 户 无 关 ， 但 是 这 个 token 在 生产 环境 中 需要 足够 复杂 且 绝 对 保密 。 


“ debug verbose: 这 两 个 选项 均 设 置 为 True， 用 于 测试 时 查看 详细 的 输出 信息 ， 而 输出 信息 会 保存 在 log_ dir 和 log file 定 义 的 目录 文件 中 。 


“ connection: 这 个 选项 定义 Keystone 使 用 的 数据 库 的 URL。 这 里 用 了 MySQL 的 keystoneuser 用 户 ， 密 码 是 openstack， 数 据 库 地 址 是 localhost， 也 就 是 本 机 ， 数 据 库 名 是 keystone。 注 意 ， 目 前 我 们 还 没有 建 


立 这 个 数据 库 和 数据 库 用 户 。 


在 这 个 测试 环境 中 ， 保 持 配 置 文件 中 其 他 选项 不 变 。 


(2) Keystone 的 数据 库 操作 


需要 在 MySQL 中 建立 一 个 Keystone 的 数据 库 ， 再 创建 一 个 


connection 选 项 一 致 。 


# mysql -uroot -p -e "CREATE DATABASE keystone;" 
# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON keystone.* TO'keystoneuser'G 
'localhost'IDENTIFIED BY 'openstack';" 


户 ， 赋 予 其 对 keystone 数 据 库 的 操作 权限 ， 代 码 如 下 。 注 意 ， 建 立 的 数据 库 名 、 


户 名 及 密码 要 和 上 押 


keystone.conf 配 置 文件 中 的 


建立 好 的 数据 库 是 空 的， 需要 初始 化 Keystone 数 据 库 的 表 结 构 。Keystone 提 供 了 一 个 很 方便 的 创建 结构 的 命令 : 


# keystone-manage db sync 


运行 成 功 之 后 ， 可 以 进入 MySQL 查 看 Keystone 这 个 数据 库 的 表 结 构 和 字段 。 


(3) 确认 Keystone 服 务 正 常 运行 


配置 文件 修改 后 需要 重启 服务 : 


# service keystone restart 


如 何 确认 Keystone 服 务 正常 启动 ”根据 笔者 的 经 验 ， 可 以 从 几 个 方面 入 手 ， 这 个 也 是 后 面 经 常会 使 用 的 方法 。 


“ 使 用 命令 “setrvice keystone status” 查 看 keystone 进 程 是 否 为 running 状 态 。 


- 查看 log 文 件 。log 文 件 被 定义 在 keytone.conf 中 ， 默 认 是 /var/log/keystone/keystone.log， 查 看 是 否 有 出 错 日 志 。 


如 果 设置 了 debug 和 vetrbose 为 True， 那 么 信息 会 很 详细 ， 有 利于 排 错 。 


: 调用 命令 “keystone client”。 其 实 前 两 步 是 查看 服务 是 否 正常 启动 ， 真 正确 认 还 需要 第 三 步 ， 即 排 错 。 服 务 启动 了 并 不 代表 Keystone 能 如 用 户 所 愿 地 进行 工作 ， 有 时 配置 选项 设置 成 不 同 的 参数 ， 服 
务 也 能 正常 运行 ,但 是 使 用 Keystone 的 时 候 会 出 错 ， 因 此 ， 运 行 一 个 实际 的 命令 来 验证 Keystone 是 否 能 正常 工作 。 运 行 命令 前 首先 要 输入 token 和 Keystone 的 endpoint: 


# export OS SERVICE TOKEN-openstack 
# export OS SERVICE ENDPOINT-http://127.0.0.1:35357/v2.0/ 
# keystone user-list 


前 面 两 行 是 设 定 token 和 endpoint 的 环境 变量 。 可 以 把 它 放 入 一 个 文件 里 ， 然 后 每 次 使 


Openstack 之 前 只 要 执行 “source 这 个 文件 ”上 


可 。 还 记得 前 


admin_token 吗 ? 这 里 的 第 一 个 token 使 的 就 是 当时 设 定 的 那个 值 。 第 三 行 命令 是 测试 Keystone 是 否 能 正常 运行 ， 需 要 列 出 Keystone 中 的 


有 报错 信息 。 运 行 命令 的 时 候 ， 建 议 结合 日 志 的 方法 ， 再 打开 一 个 窗口 使 


he 
Dn 


(4) 创建 第 一 个 Keystone 用 户 


命令 tail 日 志文 件 ， 查 看 是 否 有 报错 情况 。 因 为 到 目前 为 止 还 没有 寻 


接 下 来 的 部 分 可 能 有 点 烦琐 和 难以 理解 ， 但 笔者 不 打算 在 这 里 详细 讲解 每 条 命令 的 意思 ， 


说 明 为 什么 


也 不 


这 样 做 。 这 些 原理 性 的 内 容 将 在 第 5 


在 Keystone 配 置 文件 中 的 一 个 选项 


。 输 出 是 一 个 空 行 ? 不 


担心 ， 这 是 正常 运行 的 表现 ， 至 少 ; 


立 过 用 户 ， 所 以 肯定 没有 用 户 使 用 的 使 用 Keystone 服 务 的 日 


详细 讲解 。 这 里 的 任务 是 快速 地 把 基本 环境 搭 起 来 ， 


如 果 读者 对 这 部 分 的 内 容 产生 疑惑 ， 可 以 先 照 着 步骤 去 做 ， 相 信 等 有 了 一 个 完整 可 


这 里 将 建立 一 个 


一 个 tenant 和 一 个 role， 它 们 之 间 的 关系 是 


户 、 户 属于 tenant， 上 


的 体系 后 ， 在 使 


户 在 tenant 中 可 以 有 不 同 的 


中 会 慢 慢 理解 其 中 的 含义 。 


色 。 记 住 ， 操 作 之 前 一 定 要 设置 token 和 endpoint 这 两 个 环境 变量 。 


首先 ， 创 建 一 个 具有 管理 权限 的 tenant， 称 为 admin， 其 代码 如 下 : 


# keystone tenant-create --name-admin 


4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property Value | 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| description | 
Į enabled True | 
| id 08cbb73£6689477eb42d7be9a901e55c | 
l name admin | 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
然后 ， 创 建 一 个 用 户 ， 命 名 为 admin， 密 码 设置 为 openstack， 其 代码 如 下 : 


# keystone user-create --name-admin --pass-"openstack" 


ipe. p E E E ERE 4 
| Property | Value | 

---------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| email | | 
| enabled | True | 
| id | 3372c9032dd24ee9b2dcefcdbbal3f01 | 
| name | admin | 
poco i 4 


---------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| Property | Value | 
4---------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| id | 59aa2c3dcbf542dla84e6703eb45dq8bl | 
| name | admin | 
4---------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


最 后 ， 把 前 面 创建 的 tenant、 用 户 和 role 组 合 起 来 ， 在 admin 的 tenant 中 分 配 admin 的 角色 给 用 户 admin， 命 令 如 下 : 


# keystone user-role-add --user admin --role admin --tenant admin 


(5) 定义 Services 和 API Endpoints 


来 提供 组 件 服务 的 


di 


为 了 使 用 Keystone 来 认证 用 户 使 用 的 Openstack 中 的 其 他 组 件 ， 需 要 在 Keystone 中 创建 组 件 的 服务 和 相应 的 API Endpoints， 组 件 服务 的 API Endpoints 是 一 组 URL 加 端 
API 接口 。 


这 里 需要 创建 一 个 Keystone 的 服务 和 Keystone 的 API Endpoints， 其 代码 如 下 : 


# keystone service-create --name keystone --type identity --description 
'OpenStack Identity" 


| description | OpenStack Identity | 
| id | 6660f592f4884e7ca18d498e7aa130a1 | 
| name | keystone | 
l type | identity | 
poene nee lE ER REDE + 


# keystone endpoint-create --service-id 6660f592f4884e7cal8d498e7aal30al --publicurl 
'http://10.10.101.10:5000/v2.0' --adminurl 

'http://10.80.80.10:35357/v2.0' --internalurl 

'http://10.80.80.1 


Property Value l 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| adminurl | http://10.80.80.10:35357/v2.0 l 
| id | 2deelb06cbda4d8095c344ab3671d0ce | 
| internalurl | http://10.80.80.10:5000/v2.0 | 
| publicurl | http://10.10.101.10:5000/v2.0 l 
l region | regionOne I 
| service id | 6660f592f4884e7cal8d498e7aal30al | 
-~ 一 -一 -一 一 = 证 + 


endpoint-create 命 令 中 的 service id 是 service-create 命 令 得 到 的 ID 号 。publicurl 里 面 的 IP 使 用 对 外 是 可 以 访问 的 。adminurl 和 internalurl 使 用 内 部 管理 的 |P， 当 然 这 个 也 可 以 视 实际 情况 而 定 。 


(6) 使 用 Keystone 命 令 行 客户 端 


使 用 命令 行 客户 端 需要 通过 认证 ， 有 以 下 两 种 认证 的 方式 。 


用 keystone.conf 配 置 文件 中 的 token 认 证 ， 设 置 以 下 两 个 环境 变量 : 


# export OS SERVICE TOKEN-openstack 
# export OS SERVICE ENDPOINT-http://127.0.0.1:35357/v2.0/ 


- 使 用 在 Keystone 中 创建 的 用 户 名 及 密码 进行 认证 ， 设 置 以 下 环境 变量 : 


export OS TENANT NAME-admin 

export OS USERNAME-admin 

export OS PASSWORD-openstack 

export OS AUTH URL-"http://192.168.5.101:5000/v2.0/" 


其 中 填 入 需要 认证 用 户 的 tenant、 名 和 密码 ， 最 后 一 个 是 认证 的 URL， 仔 细 观 察 和 Keystone 的 endpoint 中 的 publicurl 的 关系 。 


第 一 种 方式 通过 设置 OS_SERVICE_TOKEN 和 OS_SERVICE_ENDPOINT 来 认证 ， 适 用 于 Keystone 中 还 没有 管理 员 权 限 的 用 户 的 情况 。 现 在 我 们 有 了 一 个 管理 员 用 户 ， 就 应 该 通过 用 户 登 录 ， 而 不 是 使 用 
token。 需 要 取消 OS_SERVICE_TOKEN 和 OS_SERVICE_ENDPOINT 这 两 个 变量 ， 然 后 再 导入 用 户 的 认证 。 如 果 同 时 设置 了 两 种 方式 ， 那 么 系统 会 有 一 个 忽略 用 户 认证 的 警告 仍旧 使 用 token 的 认证 。 命 令 
如 下 : 


# unset OS_SERVICE TOKEN 
# unset OS SERVICE ENDPOINT 


可 以 把 认证 方式 的 变量 写 在 一 个 文件 中 ， 这 里 命令 为 openstackrc， 在 以 后 每 次 使 用 的 时 候 ， 导 入 以 下 文件 即 可 。 


# source openstackrc 
# keystone user-list 


二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4------- 十 一 -一 一 -一 -一 十 一 -一 -一 -一 + 

| id | name | enabled | email | 

十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 -一 一 一 -一 十 一 一 一 一 一 一 一 一 一 十 一 -一 一 一 -一 十 

| 3372c9032dd24ee9b2dcefcdbbal3f01 | admin | True | | 

二 一 一 十 一 -一 -一 -一 十 一 一 -一 -一 -一 十 一 -一 -一 -一 + 
3. 安 装 Glance 镜 像 组 件 


Glance 组 件 完成 镜像 模板 snapshot 的 存储 工作 。Glance 主 要 包括 了 glance-api 和 glane-registry 两 个 服务 ， 其 安装 和 配置 都 比较 简单 ， 主 要 分 为 以 下 几 步 : 


“ 安装 软件 包 ， 编 辑 配置 文件 。 

“ 创建 Glance 的 数据 库 。 

- 在 Keystone 中 ， 创 建 Glance 的 用 户 、 服 务 和 Endpoint。 
- 初始 化 Glance 数 据 库 ， 启 动 服务 ， 确 认 服 务 正常 运行 。 
“ 在 Glance 中 添加 虚拟 机 镜像 。 

(1) 安装 软件 包 ， 编 辑 配置 文件 


安装 Glance 服 务 时 ， 将 把 glance-api、glance-registry、python-glanceclient 都 安装 上 。 安 装 命令 如 下 : 


# apt-get install -y glance 


Glance 的 配置 默认 文件 在 /etc/glance 下 ， 需 要 修改 如 下 内 容 。 


glance-api.conf 的 修改 如 下 : 


[DEFAULT] 

verbose = True 

debug = True 

Sql connection = mysql://glanceuser:openstack@localhost/glance 
[keystone authtoken] 

auth host = 127.0.0.1 

auth port = 35357 

auth protocol = http 

admin tenant name = service 
admin user - glance 

admin password = openstack 
[paste deploy] 
flavor-keystone 


glance-registry.conf 的 修改 如 下 : 


[DEFAULT] 

verbose = True 

debug = True 

Sql connection = mysql://glanceuser:openstack8localhost/glance 
[keystone authtoken] 

auth host - 127.0.0.1 

auth port = 35357 

auth protocol - http 

admin tenant name - service 
admin user = glance 

admin password = openstack 
[paste deploy] 
flavor-keystone 


(2) 创建 Glance 数 据 库 


根据 上 面 配置 文件 中 设 定 的 sql connection ， 在 数据 库 中 创建 用 户 名 为 glanceuser， 密 码 为 openstack。 创 建 数据 库 glance， 赋 予 glanceuser 对 数 


代码 如 下 : 


居 库 glance 的 所 有 权限 ， 


# mysql -uroot -p -e "CREATE DATABASE glance;" 
# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON glance.* TO 
'glanceuser'G8'localhost'IDENTIFIED BY 'openstack';" 


(3) 在 Keystone 中 ， 创 建 Glance 的 用 户 、 服 务 和 Endpoint 


在 这 个 测试 安装 中 ，Glance 需 要 通过 Keystone 来 进行 用 户 的 身份 认证 。 我 们 已 经 在 前 面 的 glance-api 和 glance-registry 配 置 文件 中 设置 了 认证 的 上 
入 service 这 个 tenant， 赋 予 admin 的 角色 ， 其 代码 如 下 : 


# keystone tenant-create --name-service 
# keystone user-create --name-glance --pass-openstack 
# keystone user-role-add --user glance --role admin --tenant service 


户 等 ， 现 在 必须 在 Keystone 中 创建 


户 glance, 加 


在 Keystone 通 过 用 户 验证 后 ， 因 为 需要 知道 Glance 的 服务 和 Endpoint APl， 所 以 必须 在 Keystone 创 建 ， 其 代码 如 下 : 


# keystone service-create --name glance --type image --description'OpenStack 
Image Service' 


| Property | Value | 

4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 

| description | OpenStack Image Service | 
id | 7bedcd5298d5404bbc82219£61372c1d | 

| name | glance | 

| type | image 

4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


# keystone endpoint-create --service-id 
7]lbedcd52984d5404bbc82219£61372c1d 

-publicurl 
'http://10.10.101.10:9292'--adminurl 
'http://10.80.80.10:9292/' --internalurl 


十 
i 
TS 
| adminurl | http://10.80.80.10:9292/ I 
| id | b44b36a8c8c5406887£3d0a6d819b57d | 
| internalurl | http://10.80.80.10:9292/ I 


| publicurl | http://10.10.101.10:9292 | 

| region | regionOne | 

| service id | 7bedcd529845404bbc82219f61372c1ld 
十 


l 
+---------=----+---------------------------------- 十 


OER 两 条 命令 的 service id 必须 一 致 


(4) 初始 化 Glance 数 据 库 ， 启 动 服务 ， 确 认 服 务 正常 运行 


使 用 glance-manage 命 令 ， 初 始 化 glance 数 据 库 ， 其 命令 如 下 : 


# glance-manage db sync 


由 


如 下 : 


启 服务 ， 查 看 /varlog/glance 目 录 下 的 日 志文 件 ， 确 保 启动 后 没有 出 错 信息 。 也 可 以 在 glance-api.conf 和 glance-registry.conf 中 设置 debug 和 verbose 为 True， 来 得 到 更 多 的 


ELEME 


代码 


m 


# service glance-api restart 
# service glance-registry restart 


最 后 ， 确 认 一 下 服务 是 否 运行 ， 其 代码 如 下 : 


# service glance-api status 
# service glance-registry status 
# glance image-list 


fe, 


(5) 在 Glance 中 添加 虚拟 机 镜像 


到 此 为 止 ，Glance 的 环境 已 经 搭建 好 ， 但 是 Glance 中 还 没有 可 用 的 镜像 ， 只 是 可 以 用 来 启动 虚拟 机 的 模板 。 模 板 可 以 自己 创建 ， 具 体 创 建 的 方法 将 会 在 第 6 章 详细 介绍 。 在 这 个 测试 安装 中 ， 为 了 方 


使 用 网 络 上 一 个 精简 的 可 启动 的 Linux 系 统 作为 模板 。 首 先 下 载 这 个 小 镜像 ， 其 代码 如 下 : 


# wget http://download.cirros-cloud.net/0.3.1/cirros-0.3.1-x86 64-disk.img 


使 用 Glance 命 令 行 客户 端 把 镜像 添加 到 Glance 中 。Glance 会 在 数据 库 中 记录 ， 并 把 文件 复制 到 指定 的 目录 ， 其 代码 如 下 : 


# glance image-create --name myFirstImage --is-public true --container-format bare 
--disk-format qcow2 --file cirros-0.3.1-x86 64-disk.img 


再 次 运行 “glance image-list” 命 令 查看 已 上 传 的 镜像 ， 其 代码 如 下 : 


# glance image-list 


| 13147648 
———— PERAE 


4 安装 Neutron 网 络 组 件 


Neutron 在 整个 OpenStack 中 负责 网 络 部 分 的 功能 ， 其 实 Neutron 仅 仅 只 有 管理 功能 ， 实 际 的 网 络 方面 的 实现 依靠 的 是 更 加 底层 的 网 络 技术 ， 
这 些 网 络 技术 以 plugin 的 形式 使 用 。 因 此 ， 在 各 个 节点 上 ， 需 要 安装 Neutron 的 不 同 服务 ， 才 能 形成 一 个 真正 的 网 络 组 件 。 


譬如 Linux 网 桥 、Open vSwitch 和 Nicira 等 ， 


Oz 在 Grizzly 版 本 发 布 以 后 ， 网 络 组 件 改名 为 Neutton， 以 前 叫做 Quantum， 因 此 ， 当 看 到 有 的 文档 或 者 安装 过 程 提 到 Quantum 的 时 候 ， 其 实 指 的 就 是 Neutron。 


在 控制 节点 上 ， 需 要 主要 进行 以 下 几 个 步骤 : 


- 安装 neutron-server 服 务 ， 修 改 配置 文件 。 


- 在 Keystone 中 创建 用 户 、 服务 和 Endpoint。 
“ 在 MySQL 中 创建 数据 库 和 用 户 。 


(1) 安装 软件 包 ， 修 改 配 置 文 件 


Neutron 的 软件 包 按照 功能 可 以 划分 为 多 个 ， 在 控制 节点 ， 只 需要 安装 neutron-server 的 服务 。 同 时 ， 依 赖 会 安装 neutron-plugin-openvswitch。 其 代码 如 下 : 


在 Neutron 


# apt-get install -y neutron-server 


修改 配置 文件 ， 主 要 是 设 定 Keystone 认 证 和 Neutron 数 据 库 ， 其 代码 如 下 : 


# vi /etc/neutron/neutron.conf 

[keystone authtoken] 

auth host - 127.0.0.1 

auth port = 35357 

auth protocol - http 

admin tenant name - service 

admin user = neutron 

admin password = openstack 

signing dir = $state path/keystone-signing 


[database] 

connection = mysql://neutronuser:openstack(localhost/neutron 
[DEFAULT] 

* 

如 果 用 户 设置 了 RabbitMo 

的 默认 guest 


密码 ， 那 么 必须 去 掉 这 一 行 的 注释 ， 写 入 自己 设 定 的 密码 
rabbit password = guest 


ovs_neutron_plugin.ini 配 置 文件 代码 如 下 : 


# vi /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini 


[OVS] 


tenant network type - gre 

enable tunneling - True 

tunnel type - gre 

tunnel id ranges - 1:1000 

[securitygroup] 

firewall driver = neutron.agent.linux.iptables firewall.OVSHybridIptablesFirewallDriver 
[database] 

connection = mysql://neutronuser:openstack810.80.80.10/neutron 


(2) 创建 用 户 、 服 务 和 Endpoint 


在 Keystone 中 创建 用 户 、 服 务 和 Endpoint， 其 代码 如 下 : 


# keystone user-create --name-neutron --pass-openstack 

# keystone user-role-add --user neutron --role admin --tenant service 

# keystone service-create --name neutron --type network --description 
'OpenStack Networking service' 


4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property | Value | 
4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| description | OpenStack Networking service | 
| id | 7dc9902812874042bc96alca983edela | 
| name | neutron | 
| type f network I 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


# keystone endpoint-create --service-id 7dc990a812874042bc96alca983edela --publicurl 
'http://10.10.101.10:9696/' --adminurl 
:9696/' --internalurl 


n 

| 

$ 
| adminurl | http://10.80.80.10:9696/ | 
| id | 1b67e73564fc4f6087fd90aed723d8a4 | 
| internalurl | http://10.80.80.10:9696/ I 
| publicurl | http://10.10.101.10:9696/ | 
| region | regionOne | 
| service id | 7dc990a812874042bc96alca983edela | 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


(3) 创建 Neutron 数 据 库 和 用 户 


因为 Neutron 的 数据 库 会 被 其 他 节点 连接 ， 所 以 必须 赋予 Neutron 数 据 库 用 户 相应 的 权限 ， 使 neutronuser 不 但 能 从 本 机 连接 ， 还 要 能 从 节点 机 器 上 连接 控制 服务 器 上 的 数据 库 ， 其 代码 如 下 : 


# mysql -uroot -p -e "CREATE DATABASE neutron;" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON neutron.* TO 
'neutronuser'8'$'IDENTIFIED BY'openstack';" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON neutron.* TO'neutronuser' 
'localhost'IDENTIFIED BY'openstack';" 


5. 安 装 Nova 组 件 


Nova 项 目 中 虽然 包含 了 很 多 组 件 ， 但 是 要 在 控制 服务 器 上 安装 除去 nova-compute 的 其 他 一 切 Nova 组 件 。 其 过 程 主要 分 为 下 面 几 步 : 
' 安装 Nova 软 件 包 ， 设 置 Nova 配 置 文件 。 

“ 创建 数据 库 ， 初 始 化 Nova 数 据 库 。 

“ 在 Keystone 中 创建 Nova 用 户 和 Endpoint。 


1) 安装 Nova 软 件 包 ， 并 配置 相应 文件 ， 命 令 如 下 : 


# apt-get install -y nova-api nova-cert novnc nova-consoleauth nova-scheduler 
nova-novncproxy nova-doc nova-conductor 


Nova 的 配置 文件 放 在 /etc/nova 目 录 下 ， 这 次 安装 中 需要 修改 的 是 api-paste.ini 和 nova.conf 这 两 个 文件 。 


api-paste.ini 中 要 修改 的 是 认证 部 分 ， 其 代码 如 下 : 


# vi /etc/nova/api-paste.ini 
[filter:authtoken] 

paste.filter factory = keystoneclient.middleware.auth token:filter factory 
auth host - 127.0.0.1 

auth port = 35357 

auth protocol - http 

admin tenant name - service 

admin user = nova 

admin password = openstack 

signing dir = /var/lib/nova/keystone-signing 
auth version - v2.0 


Nova 几 乎 全 部 的 配置 都 是 写 在 nova.conf 中 的 ， 其 中 选项 参数 很 多 ， 这 里 ， 笔 者 将 列 出 一 份 测试 环境 安装 使 用 的 nova.conf 配 置 文件 以 供 参 考 。 


# vi /etc/nova/nova.conf 
[DEFAULT] 
logdir-/var/log/nova 
state path-/var/lib/nova 
lock path-/run/lock/nova 
verbose-True 
debug-True 
api paste config-/etc/nova/api-paste.ini 
compute scheduler driver-nova.scheduler.simple.SimpleScheduler 
rabbit host-10.80.80.10 
rabbit password-guest 
nova url-http://10.80.80.10:8774/v1.1/ 
Sql connection-mysq]l://novauser:openstack810.80.80.10/nova 
root helper-sudo nova-rootwrap /etc/nova/rootwrap.conf 
enabled apis-ec2,osapi compute,metadata 
# Auth 
use deprecated auth-false 
auth strategy-keystone 
# Imaging service 
glance api servers-10.80.80.10:9292 
image service-nova.image.glance.GlanceImageService 
# Vnc configuration 
novnc enabled-true 
novncproxy base url-http://10.10.101.10:6080/vnc auto.html 
novncproxy port-6080 
vncserver proxyclient address-10.80.80.10 
vncserver listen-10.80.80.10 
# Network settings 
network api class-nova.network.neutronv2.api.API 


neutron url-http://10.80.80.10:9696 

neutron auth strategy-keystone 

neutron admin tenant name-service 

neutron admin username-neutron 

neutron admin password-openstack 

neutron admin auth url-http://10.80.80.10:35357/v2.0 
libvirt vif driver- 

nova.virt.libvirt.vif.LibvirtHybridOVSBridgeDriver 
linuxnet interface driver- 
nova.network.linux net.LinuxOVSInterfaceDriver 

#If you want Quantum + Nova Security groups 

firewall driver-nova.virt.firewall.NoopFirewallDriver 

Security group api-neutron 

#If you want Nova Security groups only, comment the two lines above and 
uncomment line -1-. 

d-l-firewall driver- 

nova.virt.libvirt.firewall.IptablesFirewallDriver 

fMetadata 

service neutron metadata proxy - True 

neutron metadata proxy shared secret = openstack 

metadata host = 10.80.80.10 

metadata listen = 0.0.0.0 

metadata listen port = 8775 

# Compute 4 

#compute driver-libvirt.LibvirtDriver 

# Cinder # 

volume api class-nova.volume.cinder.API 

osapi volume listen port-5900 

# Quota # 

quota_cores=5 

quota floating ip3-3 

quota gigabytes-20 

quota driver-nova.quota.DbQuotaDriver 

quota instances-5 

quota key pairs-2 

quota ram-51200 

quota volumes-2 


2) 创建 并 初始 化 Nova 数 据 库 ， 命 令 如 下 : 


# mysql -uroot -p -e "CREATE DATABASE nova;" 


因为 Nova 数 据 库 也 需要 其 他 节点 连接 ， 所 以 必须 赋予 从 localhost 和 其 他 节点 连接 的 权限 ， 代 码 如 下 : 


# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON nova.* TO novauser8'$' IDENTIFIED BY 
'openstack';" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON nova.* TO novauser8'localhost' 
IDENTIFIED BY'openstack';" 


初始 化 Nova 数 据 库 的 表 结构 : 


4 nova-manage db sync 


修改 配置 文件 和 初始 化 数据 库 后 ， 需 要 


启 Nova 所 有 安装 的 服务 ， 其 代码 如 下 : 


# cd /etc/init.d/; for i in $( ls nova-* ); do sudo service $i restart; done 


如 下 命令 查看 Nova 服 务 的 状态 ，:-) 表示 服务 运行 ，XXX 表 示 服 务 停止 。 也 可 以 查看 /varvlog/nova 下 的 各 个 日 志文 件 是 否 有 出 错 日 志 。 如 果 有 出 错 日 志和 XXX 显示 ， 那 么 必须 排查 错误 。 错 误 很 可 能 
出 现在 nova.conf 配 置 文件 上 。 在 进行 下 一 步 前 ， 必 须 确保 服务 正常 运行 ， 其 代码 如 下 : 


# nova-manage service list 


3) 在 Keystone 中 创建 Nova 用 户 和 Endpoint， 示 例如 下 : 


# keystone user-create --name-nova --pass-openstack 

# keystone user-role-add --user nova --role admin --tenant service 

# keystone service-create --name nova --type compute --description'OpenStack 
Compute Service' 


4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property | Value I 
一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| description | OpenStack Compute Service I 
| id | bc4873dd598a4f23a2a61b225914efe4 | 
| name | nova | 
| type | compute | 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
# keystone endpoint-create --service-id bc4873dd598a4f23a2a61b225914efe4 


-publicurl 
'http://10.10.101.10:8774/v2/$ (tenant id)s' --adminurl 
:8774/v2/$ (tenant id)s' --internalurl 


service id 5c4873dd598a4f23a2a610b225914efe4 


" 

| 
| adminurl | http://10.80.80.10:8774/v2/$ (tenant id)s | 
| id | e15110d5150247ef88f126ad2ea445ed | 
| internalurl | http://10.80.80.10:8774/v2/$ (tenant id)s | 
| publicurl | http://10.10.101.1 774/v2/$ (tenant id)s | 
| region | regionOne | 
| | | 

r 


运行 Nova 的 客户 端 命令 ， 列 出 当前 可 用 的 镜像 ， 测 试 是 否 能 正常 运行 ， 其 代码 如 下 : 


# nova image-list 


i 二 = 4----—-—--- 4 

| ID | Name | Status | Server | 

十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 十 

| aae5£478-a8d4-4£56-8fb6-03c8e849f009 | myFirstImage | ACTIVE | | 

二 一 一 一 一 一 一 一 4-------------- 4-------- 4-------- 4 
6. 安 装 Cinder 


Cinder 有 三 个 组 件 服务 : cinder-api、cinder-scheduler、cinder-volume。 要 在 控制 节点 上 安装 cinder-api 和 cinder-scheduler， 其 中 cinder-api 负 责 接收 其 他 组 件 或 命令 对 cinder-volume 的 请 求 ， 
而 cinder-scheduler 则 是 Cinder 的 调度 程序 ， 调 度 使 用 哪个 volume。 


(1) 安装 和 配置 


命令 如 下 : 


# apt-get install -y cinder-api cinder-scheduler 


配置 Keystone 认 证 文件 ， 其 代码 如 下 : 


# vi /etc/cinder/api-paste.ini 
[filter:authtoken] 

paste.filter factory = keystoneclient.middleware.auth token:filter factory 
auth host = 127.0.0.1 

auth port = 35357 

auth protocol - http 

admin tenant name = service 

admin user - cinder 

admin password = openstack 

signing dir = /var/lib/cinder/keystone-signing 
# vi /etc/cinder/cinder.conf 

[DEFAULT] 

rootwrap config = /etc/cinder/rootwrap.conf 
api paste confg = /etc/cinder/api-paste.ini 
iscsi helper - tgtadm 

volume name template = volume-$s 

volume group = cinder-volumes 

verbose - True 

auth strategy - keystone 

state path = /var/lib/cinder 

lock path = /var/lock/cinder 

volumes dir = /var/lib/cinder/volumes 

rabbit password = guest 

[database] 

connection = mysql://cinderuser:openstack6localhost/cinder 


(2) 创建 数据 库 和 Keystone 用 户 


创建 和 cinder.conf 中 connection 变 量 一 致 的 数据 库 用 户 名 及 密码 ， 其 代码 如 下 : 


# mysql -uroot -p -e "CREATE DATABASE cinder;" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON cinder.* TO cinderuser&'localhost' 
IDENTIFIED BY 'openstack';" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON cinder.* TO cinderusere'$' 
IDENTIFIED BY 'openstack';" 


初始 化 数据 库 cinder 表 结构 : 


# cinder-manage db sync 


在 Keystone 中 添加 cinder 用 户 和 服务 的 Endpoint， 其 代码 如 下 : 


# keystone user-create --name-cinder --pass-openstack 

# keystone user-role-add --user cinder --role admin --tenant service 

# keystone service-create --name-cinder --type-volume --description-"Cinder 
Volume Service" 


spss 
| Property | 

4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| description | Cinder Volume Service | 
| id | £3d4355648811a4822a615a75928485969d | 
| name | cinder I 
| type volume | 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


# keystone endpoint-create --service-id=fd43556d811a4822a615a75928d5969d 
--publicurl=http://10.80.80.10:8776/v1/%\ (tenant id\)s --internalurl- 
http://10.80.80.10:8776/v1/%\ (tenant id\)s --adminurl- 
http://10.80.80.10:8776/v1/%\ (tenant_id\)s 


limi 


和 启 Cinder 服 务 ， 其 代码 如 下 : 


# service cinder-api restart 
# service cinder-scheduler restart 


可 以 使 用 命令 查看 Cinder 服 务 的 状态 ， 其 代码 如 下 : 


# cinder-manage service list 


Binary Host Zone Status 
State Updated At 
cinder-scheduler controller nova enabled 


t=} 2013-11-25 13:16:09 


7. 安 装 Horizon 


Horizon 是 OpenStack 的 一 个 Dashboard， 也 就 是 以 网 页 形式 面向 用 户 的 一 个 界面 。 通 过 Horizon， 用 户 可 以 很 方便 地 使 用 OpenStack， 而 不 必 使 用 烦琐 的 命令 行 。 安 装 OpenStack 的 Dashboard 的 过 
程 很 简单 ， 其 命令 如 下 : 


# apt-get install -y openstack-dashboard memcached 


安装 好 以 后 ， 就 可 以 使 用 Web 浏 览 器 了 ， 这 里 建议 使 用 Chrome 访 问 http://10.80.80.10/horizon。 此 处 暂时 可 以 使 用 用 户 名 admin 和 密码 OpenSstack 进 行 登录 。 这 个 界面 是 Ubuntu 包装 过 的 ， 如 果 想 
Horizon 原 来 的 界面 ， 可 以 去 除 Ubuntu 的 界面 ， 代 码 如 下 : 


# dpkg --purge openstack-dashboard-ubuntu-theme 
# service apache2 restart; service memcached restart 


至 此 ， 可 以 打开 Web 浏 览 器 ， 在 地 址 栏 里 输入 http://10.80.80.10/horizon， 其 中 IP 地 址 需 更 换 成 用 户 实际 环境 中 的 。 此 时 ， 会 看 到 OpenStack 登 录 界面 ， 使 用 用 户 名 admin 和 密码 OpenStack 进 行 登 
录 ， 如 图 2-2 所 示 。 


Usage Overview - OpenStack Dashboard 
Reader || O 


Overview pn me 


openstack Select a period of time to query its usage: 


MINDS From: 2013-11-01, To: 2013-11-2(| | Submit | The date should be in YYYY-mm-dd format. 


Proi A Active instances: - Active RAM: - This Period's VCPU-Hours: - This Period's GB-Hours: - 
rem Usage Summary 


Project Name 


图 2-2 OpenStack 登 录 界 面 


在 Keystone 中 创建 Member 角 色 ， 因 为 Horizon 中 会 用 到 这 个 角色 ， 其 代码 如 下 : 


# keystone role-create --name Member 


24.2 ”网 络 节点 的 安装 


网 络 节点 主要 负责 虚拟 机 的 网 络 控制 ， 包 括 DHCP、 虚 拟 路 由 、 公 网 访问 虚拟 机 等 。 通 过 软件 网 桥 等 方式 控制 虚拟 机 的 网 络 ， 代 蔡 传 统 环境 中 所 需要 的 交换 机 、 路 由 器 等 。 在 这 个 测试 案例 中 ,使 
Open vSwitch 作 为 底层 的 网 络 驱动 。 


1. 系 统 环境 准备 


操作 系统 仍旧 使 用 Ubuntu 12.04 LTS。 网 络 节点 需要 三 个 网 口 ， 分 别 连 接 network-1、network-2、network-3， 前 两 个 网 络 在 控制 节点 安装 的 时 候 定义 过 ， 而 network-3 是 个 新 网 络 ， 是 个 私有 的 网 
络 ，IP 网 段 自 定义 ， 它 需要 和 所 有 的 计算 节点 通信 ， 因 此 ， 可 以 和 计算 节点 连 在 一 个 交换 机 上 或 者 VLAN 中 。 


(1) 网 络 IP 设 置 


o 


0 在 前 面 定义 的 netwotk-1 网 络 中 ， 这 个 网 络 连接 Internet。 计 算 节点 中 的 虚拟 机 出 入 Internet 的 流量 都 从 这 里 经 过 。 


I 


hl 在 前 面 定义 的 network-2 网 络 中 。 这 个 接 入 管理 网 络 的 网 口 主要 负责 和 controller 之 间 的 组 件 通信 ， 包 括 所 有 的 数据 库 连 接 、RabbitMQ 等 。 


o 


2 在 新 定义 的 网 络 中 ， 命 名 为 network-3。 这 个 网 络 和 所 有 的 计算 节点 连接 ， 用 于 Open vSwitch 的 GRE 隧 道 ， 使 得 虚拟 机 能 和 网 络 节点 通信 。 代 码 如 下 : 


# cat /etc/network/interfaces 

# network-1 Internet 

auto eth0 

iface eth0 inet static 
address 10.10.101.11 
netmask 255.255.252.0 
network 10.10.100.0 
broadcast 10.10.103http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/..255 
gateway 10.10.100.1 
dns-nameservers 8.8.8.8 

# network-2 Management 

auto ethl 

iface ethl inet static 
address 10.80.80.11 
netmask 255.255.255.0 

# network-3 vm 

auto eth2 

iface eth2 inet static 
address 10.10.50.1 
network 255.255.255.0 


中 


启 网 络 ， 命 令 如 下 : 


# /etc/init.d/networking restart 


(2) 添加 Havana 的 源 


添加 Havana 的 源 ， 代 码 如 下 : 


apt-get install -y python-software-properties 
add-apt-repository cloud-archive:havana 
apt-get update -y 

apt-get upgrade -y 

apt-get dist-upgrade -y 


ddEGEGE GE 


更 新 完 系 统 之 后 ， 可 以 根据 实际 情况 重启 服务 器 。 
(3) 同步 时 间 


同步 时 间 的 命令 如 下 : 


# apt-get install -y ntp 
# vi /etc/ntp.conf 


编辑 ntp.conf， 在 控制 节点 的 IP 中 加 入 下 面 的 一 行 ， 并 且 放 在 所 有 "server ntp 服 务 器 域名 ”的 行 之 前 ， 或 者 删除 其 他 关于 server ntp 服 务 器 的 行 。 


server 10.80.80.10 


看 启 NTP 服 务 ， 命 令 如 下 : 


中 


# service ntp restart 


打开 IP 转 发 的 功能 ， 因 为 网 络 节点 需要 把 从 vm 网 络 来 的 数据 包 转发 到 Internet， 其 代码 如 下 。 


# sysctl net.ipv4.ip forward=1 


写 入 配置 文件 ， 使 得 重启 后 仍旧 生效 ， 命 令 如 下 。 


# vi /etc/sysctl.coof 
net.ipv4.ip forward = 1 


2. 安 装 Open vSwitch 和 Neutron 


由 于 采用 Open vSwitch 作 为 Neutron 的 plugin 来 实现 底层 的 网 络 虚 拟 化 ， 因 此 需要 安装 Open vSwitch。 在 Open vSwitch 中 添加 两 个 虚拟 网 络 交换 机 : br-int、br-ex， 其 代码 如 下 : 


# apt-get install -y openvswitch-switch openvswitch-datapath-dkms 
# ovs-vsctl add-br br-int 
4 ovs-vsctl add-br br-ex 


在 网 络 节点 ， 需 要 安装 Neutron 的 大 部 分 组 件 ， 这 里 安装 copenvswitch-plugin 的 agent， 负 责 neutron server 和 plugin 之 间 的 相互 联系 ，dhcp-agent 负 责 虚 拟 网 络 的 DHCP，13-agent 负 责 虚 拟 网 络 的 
路 由 和 外 部 连接 ， 另 外 ， 还 有 metadata-agent， 其 代码 如 下 。 


neutron-plugin-openvswitch-agent 
neutron-dhcp-agent 
neutron-13-agent 
neutron-metadata-agent 
# apt-get -y install neutron-plugin-openvswitch-agent neutron-dhcp-agent 
neutron-13-agent neutron-metadata-agent 


3. 配 置 Neutron 的 agent 


1) 全 局 配置 ， 代 码 如 下 : 


# vi /etc/neutron/neutron.conf 
[DEFAULT] 

debug - True 

verbose = True 

rabbit host = 10.80.80.10 


* 

如 果 修 改过 rabbit 

的 guest 

密码 ， 则 一 定 要 修改 下 面 一 行 
rabbit password = guest 


2) Open vSwitch 的 plugin 配 置 文件 ， 代 码 如 下 : 


# vi /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini 
[OVS] 

tenant network type - gre 

enable tunneling - True 

tunnel type - gre 

tunnel id ranges - 1:1000 

integration bridge = br-int 

tunnel bridge - br-tun 

local ip = 10.10.50.1 

[securitygroup] 

firewall driver - neutron.agent.linux.iptables firewall.OVSHybridIptablesFirewallDriver 
[database] E 

connection = mysql://neutronuser:openstack810.80.80.10/neutron 


EARS, ， 命 令 如 下 : 


中 


# service neutron-plugin-openvswitch-agent restart 


3) 对 metadata-agent 进 行 配置 ， 命 令 如 下 : 


# vi /etc/neutron/metadata agent.ini 
[DEFAULT] 

debug = True 

auth url = http://10.80.80.10:5000/v2.0 


Os auth_region 必 须 和 Keystone 中 Neutron 服 务 的 endpoint 一 致 ， 默 认 配 置 文件 里 是 RegionOne， 而 Keystone 建 立 endpoint 时 如 果 不 命名 ， 默 认 是 regionOne， 这 一 个 大 小 写 问 题 曾 经 让 笔者 在 研究 
metadata 上 花 了 一 个 下 午 的 时 间 。 


auth region = regionOne 

admin tenant name = service 

admin user = neutron 

admin password = openstack 

nova metadata ip = 10.80.80.10 

nova metadata port = 8775 

metadata proxy shared secret = openstack 


中 


EARRA, MUT: 


# service neutron-metadata-agent restart 


4) 对 dhcp-agent 进 行 配置 ， 命 令 如 下 : 


# vi 

[DEFAULT] 

debug = True 

interface driver = neutron.agent.linux.interface.OVSInterfaceDriver 
dhcp driver = neutron.agent.linux.dhcp.Dnsmasq 

enable metadata network = True 


limi 


ERZ, MUT: 


# service neutron-dhcp-agent restart 


5) 对 |3-agent 进 行 配置 ， 命 令 如 下 : 


# vi 

[DEFAULT] 

debug = True 

interface driver = neutron.agent.linux.interface.OVSInterfaceDriver 
external network bridge = br-ex 


limi 


启 服务 ， 命 令 如 下 : 


# service neutron-13-agent restart 


使 用 “neutron agent-list” 命 令 可 以 验证 目前 的 Neutron 服 务 。 记 住 ， 运 行 命令 前 必须 先导 入 用 户 凭证 。 


4 设置 br-ex 虚 拟 网 络 


前 面 已 经 创建 了 一 个 br-ex 的 虚拟 交换 机 ， 使 用 命令 ifconfig 可 以 看 到 这 个 网 口 。 这 个 虚拟 网 络 是 在 3-agent 的 配置 里 设置 的 ， 简 单 来 说 ， 是 用 于 虚拟 机 和 Internet 之 间 通 信 的 ， 因 此 ， 需 要 把 网 络 节点 
上 连接 Internet 的 eth0 接 入 到 这 个 br-ex 的 虚拟 交换 机 上 。 


Qi 运行 下 面 这 条 命令 后 ，eth0 网 络 会 断 掉 ， 需 确保 在 配置 的 时 候 是 通过 管理 网 络 接 入 的 ， 或 者 是 直接 在 console 上 执行 的 。 


# ovs-vsctl add-port br-ex eth0 


在 /etc/network/interfaces 中 把 eth0 的 网 络 配 置 进行 修改 ， 如 下 所 示 : 


auto eth0 

iface eth0 inet manual 
up ifconfig SIFACE 0.0.0.0 up 
up ip link set $IFACE promisc on 
down ip link set $IFACE promisc off 
down ifconfig SIFACE down 


如 果 需 要 让 网 络 节点 配置 一 个 可 以 从 这 个 网 络 访问 的 地 址 ， 那 么 可 以 把 原来 的 eth0 的 地 址 配置 在 br-ex 网 口上 。 


2.4.3 ”计算 节点 的 安装 


计算 节点 主要 负责 运行 虚拟 机 。 在 这 个 测试 案例 中 ， 使 用 KVM 作 为 底层 的 虚拟 化 技术 ，Openstack 采 用 libvirt 库 来 管理 KVM。 网 络 使 用 Dpen vSwitch 来 和 其 他 计算 节点 及 网 络 节点 通信 。 在 计算 节点 
上 ， 需 要 安装 以 下 几 个 部 分 : 


* Open vSwitch 


* neutron-plugin-openvswitch-agent 


“ nova-compute 


* open-iscsi 


1. 系 统 环境 准备 


操作 系统 仍旧 使 用 Ubuntu 12.04 LTS。 网 络 节点 需要 两 个 网 口 ， 分 别 连接 network-2 和 network-3。 


1) 网 络 IP 设 置 如 下 : 


# cat /etc/network/interfaces 
# network-2 Management 
auto ethl 
iface ethl inet static 

address 10.80.80.12 
netmask 255.255.255.0 

# network-3 vm 

auto eth2 

iface eth2 inet static 
address 10.10.50.2 
network 255.255.255.0 


:eth1 在 前 面 定义 的 netwotk-2 网 络 中 。 这 个 接 入 管理 网 络 的 网 口 主要 负责 和 conttoller 之 间 的 组 件 通信 ， 包 括 所 有 的 数据 库 连接 、RabbitMQ 等 。 


“ eth2 在 前 面 定义 的 network-3 网 络 中 。 这 个 网 络 和 所 有 计算 节点 连接 ， 用 于 Open vSwitch 的 GRE 隧 道 ， 使 得 虚拟 机 能 和 网 络 节 点 通信 。 


启 网 络 ， 命 令 如 下 : 


由 


# /etc/init.d/networking restart 


2) 添加 Havana 的 源 ， 其 代码 如 下 : 


apt-get install -y python-software-properties 
add-apt-repository cloud-archive:havana 
apt-get update -y 

apt-get upgrade -y 

apt-get dist-upgrade -y 


dde db dE GE 


Qu 


更 新 完 系 统 之 后 ， 可 以 根据 实际 情况 重启 服务 器 。 


Qu 因为 计算 节点 使 用 时 是 不 需要 公 网 连接 的 ， 也 不 应 该 有 公 网 连接 ， 只 在 安装 更 新 软件 时 需要 连接 公共 网 络 ， 所 以 可 以 先 保证 用 户 的 一 个 网 口 可 以 从 公 网 下 载 安装 软件 包 ， 等 安装 完 之 后 再 恢复 
成 内 网 。 


3) 同步 时 间 ， 代 码 如 下 : 


4 apt-get install -y ntp 
# vi /etc/ntp.conf 


编辑 ntp.conf， 在 控制 节点 的 IP 中 加 入 下 面 一 行 ， 并 且 放 在 所 有 “server ntp 服 务 器 域名 ”的 行 之 前 ， 或 者 删除 其 他 关于 server ntp 服 务 器 的 行 。 


server 10.80.80.10 


看 启 NTP 服 务 ， 代 码 如 下 : 


中 | 


# service ntp restart 


2. 安 装 Open vSwitch 和 Neutron 的 plugin 


接 下 来 安装 Open vSwitch 和 Neutron 的 plugin， 命 令 如 下 : 


# apt-get install -y openvswitch-switch openvswitch-datapath-dkms 


创建 一 个 用 于 和 内 部 虚拟 机 通信 的 虚拟 网 络 交换 机 ， 命 令 如 下 : 


# ovs-vsctl add-br br-int 
# apt-get install -y neutron-plugin-openvswitch-agent 


修改 配置 文件 ， 除 了 local_ip 需 要 填 入 计算 节点 本 机 的 network-3 网 络 的 |P 之 外 基本 上 和 网 络 节点 的 一 样 。 其 代码 如 下 : 


# vi /etc/neutron/neutron.conf 
[DEFAULT] 

debug = True 

verbose - True 

rabbit host = 10.80.80.10 


# 
如 果 修改 过 rabbit 


guest 

密码 ， 则 一 定 要 修改 下 面 一 行 

rabbit password = guest 

# vi /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini 
[OVS] 

tenant network type - gre 

enable tunneling - True 

tunnel type - gre 

tunnel id ranges - 1:1000 

integration bridge = br-int 

tunnel bridge - br-tun 

local ip = 10.10.50.2 

[securitygroup] 

firewall driver = neutron.agent.linux.iptables firewall.OVSHybridIptablesFirewallDriver 
[database] 

connection = mysql://neutronuser:openstack810.80.80.10/neutron 


启 服务 ， 命 令 如 下 : 


中 


# service neutron-plugin-openvswitch-agent restart 


3. 安 装 KVM 的 虚拟 机 计算 支持 


安装 KVM 的 虚拟 机 计算 支持 命令 如 下 : 


# apt-get install -y nova-compute-kvm 


编辑 配置 文件 ， 加 入 认证 ， 代 码 如 下 : 


4 vi /etc/nova/api-paste.ini 

[filter:authtoken] 

paste.filter factory - keystoneclient.middleware.auth token:filter factory 
auth host = 10.80.80.10 E E 
auth port = 35357 

auth protocol - http 

admin tenant name - service 

admin user = nova 

admin password = openstack 

signing dir = /var/lib/nova/keystone-signing 

auth version - v2.0 


配置 Nova 文 件 ， 可 以 从 控制 节点 把 nova.conf 文 件 的 内 容 复制 过 来 ， 然 后 进行 修改 ， 主 要 修改 一 些 涉及 IP 的 地 方 ， 其 代码 如 下 : 


# vi /etc/nova/nova.conf 

[DEFAULT] 

logdir-/var/log/nova 

state path-/var/lib/nova 

lock path-/run/lock/nova 

verbose-True 

debug-True 

api paste config-/etc/nova/api-paste.ini 
compute scheduler driver-nova.scheduler.simple.SimpleScheduler 

rabbit host-10.80.80.10 

rabbit password-guest 

nova url-http://10.80.80.10:8774/v1.1/ 
Sql connection-mysql://novauser:openstack810.80.80.10/nova 

root helper-sudo nova-rootwrap /etc/nova/rootwrap.conf 

enabled apis-ec2,o0sapi compute,metadata 

* Auth — i 

use deprecated auth-false 

auth strategy-keystone 

# Imaging service 

glance api servers-10.80.80.10:9292 

image service-nova.image.glance.GlanceImageService 

# Vnc configuration 

novnc enabled-true 

novncproxy base url-http://10.10.101.10:6080/vnc auto.html 

novncproxy port-6080 m 

vncserver proxyclient address-10.80.80.12 

vncserver listen-10.80.80.12 

# Network settings 

network api class-nova.network.neutronv2.api.API 

neutron url-http://10.80.80.10:9696 

neutron auth strategy-keystone 

neutron admin tenant name-service 

neutron admin username-neutron 

neutron admin password-openstack 

neutron admin auth url-http://10.80.80.10:35357/v2.0 
libvirt vif driver-nova.virt.libvirt.vif.LibvirtHybridOVSBridgeDriver 
linuxnet interface driver-nova.network.linux net.LinuxOVSInterfaceDriver 

#If you want Quantum + Nova Security groups E 

firewall driver-nova.virt.firewall.NoopFirewallDriver 

security group api-neutron 

#If you want Nova Security groups only, comment the two lines above and uncomment 
line -1-. 
#-1-firewall driver-nova.virt.libvirt.firewall.IptablesFirewallDriver 

fMetadata 

service neutron metadata proxy - True 

neutron metadata proxy shared secret - openstack 

# Compute # 

#compute driver=libvirt.LibvirtDriver 

# Cinder # 

volume api class=nova.volume.cinder.API 

osapi volume listen port-5900 

# Quota # ^ 7 

quota_cores=5 

quota floating ip3-3 

quota gigabytes-20 

quota driver-nova.quota.DbQuotaDriver 

quota instances-5 

quota key pairs-2 

quota ram-51200 

quota volumes-2 


设置 qemu 的 cgroup 文 件 ， 代 码 如 下 : 


# vi /etc/libvirt/qemu.conf 

cgroup device acl = [ 

"/dev/null", "/dev/full", "/dev/zero", 

"/dev/random", "/dev/urandom", 

"/dev/ptmx", "/dev/kvm", "/dev/kqgemu", 
"/dev/rtc","/dev/hpet", "/dev/vfio/vfio", "/dev/net/tun" 
] 


libvirt 服 务 和 nova-compute 服 务 ， 命 令 如 下 : 


# service libvirt-bin restart 
# service nova-compute restart 


244 ” 块 存储 节点 的 安装 


块 存储 节点 负责 提供 volume ( 云 硬 盘 ) 。Cinder 服 务 可 以 在 块 存储 上 创建 volume， 以 块 存储 的 形式 通过 iSCSI 提供 给 计算 节点 ， 计 算 节 点 使 用 底层 的 libvirt 库 把 volume 块 存储 挂 载 给 虚拟 机 使 用 。 


在 控制 节点 上 已 经 安装 了 cinder-api 和 cinder-scheduler， 在 真正 的 块 存储 节点 上 需要 安装 cinder-volume 的 服务 ， 它 调度 相应 程序 ， 在 节点 上 创建 或 删除 volume， 并 更 新 维护 volume 在 数据 库 中 的 状 
态 。cinder-volume 可 以 使 用 多 种 后 端 来 创建 块 存储 ， 最 简单 的 方式 是 使 用 LVM (使 用 一 个 vg， 然 后 在 这 个 vg 上 创建 lv 作为 volume) 。 我 们 在 测试 中 也 使 用 LVM 的 后 端 。 


1. 系 统 环境 准备 


操作 系统 仍旧 使 用 Ubuntu 12.04 LTS。 网 络 节 点 需要 一 个 网 口 ， 即 network-2。 这 个 网 络 除了 和 控制 节点 进行 Rabbit MQ、MySQL 数 据 通信 之 外 ， 还 和 计算 节点 进行 iSCSI 的 数据 通信 。 在 实际 环境 
中 ， 所 有 的 虚拟 机 和 云 硬盘 数据 都 通过 这 个 网 络 ， 可 能 造成 虚拟 机 读 写 volume 的 瓶颈 问题 ， 因 此 ， 可 以 考虑 使 用 单独 的 网 络 和 计算 节点 连接 ， 必 要 时 可 以 采取 网 口 绑 定 或 采用 10Gbit/s 网 络 。 


1) 进行 网 络 IP 设 置 ， 代 码 如 下 : 


# cat /etc/network/interfaces 
auto ethl 

iface ethl inet static 
address 10.80.80.13 

netmask 255.255.255.0 


笔者 这 样 设 置 是 不 能 连接 外 网 的 ， 但 由 于 需要 安装 软件 ， 


2) 重启 网 络 ， 命 令 如 下 : 


因此 读者 可 以 先 用 其 他 能 连接 Internet 的 网 络 代替 。 


# /etc/init.d/networking restart 


3) 添加 Havana 的 源 ， 代 码 如 下 : 


apt-get install -y python-software-properties 
add-apt-repository cloud-archive:havana 
apt-get update -y 

apt-get upgrade -y 

apt-get dist-upgrade -y 


dE dbdEGEGE 


更 新 完 系 统 之 后 ， 可 以 根据 实际 情况 重启 服务 器 。 


4) 同步 时 间 ， 代 码 如 下 : 


# apt-get install -y ntp 
# vi /etc/ntp.conf 


编辑 ntp.conf， 在 控制 节点 的 IP 中 加 入 下 


的 一 行 ， 并 且 放 在 所 有 “server ntp 服 务 器 域名 ”的 行 之 前 ,或 者 删除 其 他 关于 server ntp 服 务 器 的 行 。 


server 10.80.80.10 


2. 安 装配 置 cinder-volume 


因为 使 


LVM 作 为 后 端 ， 所 以 必须 安装 lvm2 包 。 安 装 命令 如 下 : 


# apt-get install lvm2 


RAID 做 的 盘 。 可 以 使 


确保 系统 中 有 除了 安装 系统 所 在 的 盘 之 外 的 一 块 单独 的 硬盘 或 者 使 
一 个 vg， 命 名 为 cinder-volume， 其 代码 如 下 : 


# pvcreate /dev/sdb 
# vgcreate cinder-volumes /dev/sdb 


命令 fdisk-| 查 看 。 在 笔者 的 环境 中 ， 系 统 安装 在 /devwsda 中 ， 笔 者 有 额外 的 一 块 硬盘 /dev/sdb， 用 它 创建 


安装 cinder-volume 组 件 和 相关 的 包 ， 命 令 如 下 : 


# apt-get -y install cinder-volume python-mysqldb 


配置 cinder.conf 文 件 ， 这 个 文件 和 控制 节点 
配置 文件 中 ， 这 两 个 参数 的 IP 可 以 是 localhost。 其 代码 如 下 : 


的 cinder.conf 文 件 大 致 相同 ， 唯 一 不 同 的 是 需要 改变 rabbit_host 参 数 和 数据 库 的 connection 参 数 ， 把 其 中 的 IP 都 设置 成 控制 节点 的 IP， 而 在 控制 节点 上 的 


# vi /etc/cinder/cinder.conf 

[DEFAULT] 

rootwrap config = /etc/cinder/rootwrap.conf 
api paste confg = /etc/cinder/api-paste.ini 
iscsi helper - tgtadm 

volume name template — volume-$s 

volume group = cinder-volumes 

debug = True 

verbose - True 

auth strategy = keystone 

state path = /var/lib/cinder 

lock path = /var/lock/cinder 

volumes dir = /var/lib/cinder/volumes 
rabbit host = 10.80.80.10 

rabbit password = Cloud-open 

[database] 

connection = mysql://cinderuser:OPenstack(010.80.80.10/cinder 


重启 服务 ， 命 令 如 下 : 


# service cinder-volume restart 


全 部 完成 之 后 ， 可 以 在 控制 节点 上 运行 


第 2 章 ”OpenStack 的 安装 


2.1 在 Ubuntu 上 使 用 二 进 制 包 安 装 


笔者 写本 书 的 时 候 ，OpensStack 已 经 发 展 到 Havana 版 本 ， 几 大 主流 的 Linux 发 行 版 本 都 会 将 OpenStack 的 源 代码 做 成 各 自 平台 的 二 进 制 安装 包 ， 以 供用 户 使 用 。 随 着 OpenStack 使 有 


命令 cinder-manage service list， 查 看 cinder-volume 服 务 是 否 正常 运行 。 


的 人 越 来 越 多 ， 发 


行 版 本 对 Linux 的 支持 力度 也 越 来 越 大 ， 就 目前 来 看 ，Ubuntu (Debian) 、RedHat、OpenSUSE 都 有 相应 的 包 和 开发 定制 的 安装 程序 。 当 然 ， 各 个 Linux 平 台 上 的 包 制作 发 布 的 时 间 各 有 快慢 ， 同 时 支持 的 


版 本 更 新 也 有 快 有 慢 。Ubuntu 是 更 新 最 快 的 发 行 版 本 之 一 。RedHat 也 越 来 越 重 视 OpenStack， 更 新 包 的 速度 也 比 以 前 快 很 多 。 这 里 先 以 Ubuntu 作为 底层 的 操作 系统 ， 


为 Ubuntu 从 Openstack 的 


Cactus 版 本 开始 就 将 其 作为 自身 一 个 云 计算 的 软件 ， 同 时 ， 社 区 对 Openstack 的 支持 很 好 ， 网 络 上 很 多 文档 都 是 以 Ubuntu 为 操作 系统 进行 部 署 安 装 的 ， 并 且 Openstack 的 开发 人 员 是 在 Ubuntu 上 进行 


Openstack 的 开发 的 ， 就 目前 情况 来 看 ， 其 支持 度 最 好 。 


本 节 将 会 介绍 如 何在 Ubuntu 12.04 LTS 上 安装 Keystone、Glance、Nova、Neutron、Cinder 和 Horizon 这 几 个 组 件 ， 其 中 使 用 4 台 服 务 器 ， 分 别 作为 controller、network、compute、volume 节 


点 。 这 4 个 节点 的 名 字 只 是 按照 它们 需要 完成 的 任务 来 命名 的 ， 并 不 是 说 它们 有 特定 的 名 字 。 


2.1.1 控制 节点 的 安装 

在 controller 节 点 上 计划 部 署 如 下 组 件 : 
- RabbitMQ 
< MySQL 
* Keystone 
* Glance 
* Neutron 
* Nova 中 除去 nova-compute 的 其 他 组 件 
.Cinder 中 除去 cinder-volume 的 其 他 组 件 
* Horizon 


下 面 详细 介绍 一 下 各 个 组 件 。 


RabbitMQ: 在 OpenStack 中 ， 各 个 服务 之 间 是 通过 消息 来 交互 的 。 因 为 OpenStack 使 用 AMQP (高 级 消息 队列 协议 ) 作为 其 消息 传递 的 技术 ， 所 以 RabbitMQ、Qpid、ZeroMQ 等 支持 AMQP 的 软 
件 都 是 被 OpenStack 所 支持 的 。 这 里 会 使 用 RabbitMQ， 因 为 它 是 第 一 个 被 OpenStack 使 用 的 消息 传递 的 软件 。OpenStack 通 过 AMQP 实 现 RPC 的 服务 ， 来 保证 不 同 组 件 之 间 的 通信 ，RabbitMQ 是 
controller 中 一 个 非常 关键 的 服务 。RabbitMQ 结 构图 如 图 2-1 所 示 。 


项 目 
用 户 
角色 
网 络 
VPN 


Nova-Manage 


本 地 方法 


虚拟 机 实例 
镜像 

虚拟 机 配置 
共享 人 P 池 


本 地 方法 


OpenStack API 


VM 实例 
安全 组 
外 部 磁盘 卷 
VM 快照 
VM 镜像 
IP 地 址 对 象 存 litt 
SSH x $H 


可 用 域 服务 


图 2-1 RabbitMQ 交 互 图 


MySQL: Openstack 所 使 用 的 数据 库 。 包 括 Nova、Glance、Cinder 等 在 内 的 组 件 都 会 建立 自己 的 数据 库 ， 保 存 一 些 必要 的 数据 。 


Keystone: Openstack 的 用 户 认 证 组 件 。 它 的 功能 主要 是 建立 管理 项 目的 用 户 和 各 种 服务 端口 ， 以 及 进行 用 户 的 身份 认证 。 要 使 用 OpenStack 的 任意 AP1， 第 一 步 就 必须 通过 Keystone 的 验证 。 


Glance: 用 来 存放 管理 虚拟 机 镜像 和 快照 的 服务 ， 这 也 是 一 个 最 小 架构 中 必须 有 的 服务 。 


Neutron: 用 来 提供 虚拟 机 网 络 通信 的 组 件 。 


Nova (除去 nova-compute 的 其 他 组 件 ) : 这 里 不 包括 nova-compute， 因 为 Controller 节 点 不 负责 运行 虚拟 机 。Nova 是 个 至 关 重 要 的 组 件 ， 也 是 个 相对 庞大 的 组 件 ， 其 中 有 很 多 服务 ， 它 是 进行 生 
成 虚拟 机 工作 的 主要 服务 。 


Cinder (除去 Cinder-volume 的 其 他 组 件 ) : 用 来 创建 、 删 除 及 管理 volume (虚拟 磁盘 卷 ) ， 以 及 给 volume 做 快照 等 服务 的 组 件 。 


Horizon: Openstack 的 Web 管 理 页 面 ， 使 用 Django 框 架 开 发 。Web 管 理 页 面包 含 了 日 常 使 用 的 大 部 分 功能 ， 提 供给 用 户 一 个 最 直观 的 展现 方式 。 很 多 简单 的 二 次 开发 工作 都 是 从 Horizon 开 始 的 。 


1. 系 统 环境 准备 


在 安装 部 署 OpenStack 之 前 ， 首 先 需要 做 一 些 安装 额外 软件 和 配置 网 络 等 准备 ， 主 要 包括 以 下 几 个 部 分 : 


- 操作 系统 为 Ubuntu 12.04 LTS， 最 小 化 安装 即 可 。 在 安装 系统 的 时 候 ， 安 装 openssh-server， 分 区 尽量 能 有 30GB 空 间 ， 用 来 完成 这 个 测试 环境 。 
“ 网 络 连接 和 IP 设 置 。 需 要 两 个 以 太 网 口 ， 分 配 两 个 独立 的 网 络 。 
- 添加 OpenStack Havana 版 本 的 软件 包 源 到 系统 中 ， 并 且 更 新 系统 。 
“ 安装 NTP 服 务 。 
: MySQL， 安 装 MYSQL 数据 库 和 Python 的 MySQL 库 。 
* RabbitMQ， 人 安装 Rabbitmq-server 作 为 OpenStack 的 AMQP。 
(1) 网 络 IP 配 置 
按照 架构 的 设计 ，controller 需 要 两 个 网 口 ， 连 接 两 个 网 段 。 


* eth0 所 在 的 网 段 是 一 个 用 户 可 访问 的 网 段 ， 在 本 章 中 ， 把 这 个 网 络 命名 为 netwotk-1， 将 会 通过 Web 访 问 这 个 eth0 所 使 用 的 IP 来 进行 登录 Web 的 操作 。 举 例 来 说 ， 如 果 笔者 现在 的 PC 配置 的 JP 是 
10.10.101.10，22 位 的 掩 码 ， 那 么 笔者 的 controller 的 eth0 可 以 配置 为 10.10.101.10/22 这 个 网 段 中 任何 没有 使 用 的 IP 地 址 。 


:eth1 所 在 的 网 段 是 一 个 私有 的 管理 网 段 ， 在 本 章 中 ， 把 这 个 网 络 命名 为 network-2。 在 实际 环境 中 ， 所 有 的 节点 ， 无 论 是 conttoller， 还 是 计算 节点 ， 网 络 节点 都 需要 有 一 个 网 口 连接 这 个 网 段 ， 所 有 的 数 
据 库 连接 ， 以 及 RabbitMQ 的 通信 使 用 的 都 是 这 个 网 口 。 如 果 用 SSH 登 录 来 进行 修改 配置 等 工作 ， 也 应 接 入 这 个 网 段 进行 操作 。 如 果 需 要 监控 OpenStack 环 境 中 的 服务 器 和 虚拟 机 ， 也 建议 通过 接 入 这 个 网 段 进 
行 。 这 个 网 段 不 需要 有 能 访问 外 部 网 络 的 功能 。 在 一 个 简单 的 模型 中 ， 只 要 把 这 些 网 口 接 入 到 一 台 交 换 机 上 即 可 ， 示 例如 下 所 示 : 


# cat /etc/network/interfaces 

# network-1 Internet 

auto eth0 

iface eth0 inet static 
address 10.10.101.10 
netmask 255.255.252.0 
network 10.10.100.0 
broadcast 10.10.103.255 
gateway 10.10.100.1 
dns-nameservers 8.8.8.8 

# network-2 Management 

auto ethl 

iface ethl inet static 
address 10.80.80.10 
netmask 255.255.255.0 


以 上 是 笔者 环境 中 的 网 络 配置 文件 ， 读 者 可 以 根据 自己 环境 的 实际 情况 进行 修改 ， 然 后 重启 服务 器 网 络 。 命 令 如 下 ， 提 示 符 # 的 命令 操作 表示 是 在 root 用 户 环境 下 进行 的 操作 。 


# /etc/init.d/networking restart 


(2) 添加 Havana 的 源 


Ubuntu 12.04 默 认 的 Openstack 的 版 本 是 Essex 版 本 ， 如 果 不 安装 其 他 版 本 的 源 ， 那 么 默认 命令 安装 的 都 是 Essex 版 本 的 软件 包 ， 这 点 需要 用 户 注 意 。 此 处 ， 要 加 入 Openstack 软 件 包 的 Havana 的 源 ， 
然后 更 新 一 下 系统 的 软件 包 信息 和 已 安装 的 软件 。 命 令 如 下 : 


# apt-get install 
-y python-software-properties 
# add-apt-repository cloud-archive:avana 


加 入 新 的 源 后 会 在 /etc/apt/sources.list.d/ 目 录 下 多 出 一 个 Havana 源 的 文件 ， 如 下 所 示 : 


# apt-get update 

# apt-get upgrade 

X 

# apt-get dist-upgrade 
-Yy 


更 新 完 系 统 后 可 以 重启 ， 也 可 以 等 安装 完 OpenSstack 后 再 重启 。 


(3) 安装 NTP 服 务 


在 整个 Openstack 集 群 中 ， 规 模 可 以 从 几 个 节点 到 几 十 个 节点 ， 甚 至 几 百 个 ， 为 了 保证 这 些 集群 中 的 节点 互相 通信 正常 ， 需 要 使 各 个 节点 的 时 间 一 致 ， 误 差 不 能 太 大 ， 因 此 需要 一 台 NTP 服 务 器 来 提供 
时 间 同 步 ， 在 这 个 测试 环境 中 ， 选 择 在 控制 节点 上 安装 NTP 服 务 。 命 令 如 下 : 


# apt-get install 
-y ntp 


(4) 安装 MySQL 数 据 库 


OpenStack 的 主要 组 件 都 需要 数据 库 的 支持 。OpenStack 支 持 MySQL、PostgreSQL、SQLite。 在 这 个 测试 环境 中 ， 选 择 MySQL 作 为 数据 库 。 控 制 端 安 装 MySQL 的 Server， 节 点 通过 Python 的 
MySQL 客 户 端 模块 连接 到 MySQL Server。 命 令 如 下 : 


# apt-get install 
-y mysql-server python-mysqldb 


Qi: 安装 MySQL 的 过 程 中 ， 会 提示 创建 MySQL 的 root 密 码 。 


默认 MySQL 只 监听 127.0.0.1， 而 在 实际 的 生产 环境 中 ， 出 于 安全 考虑 ， 数 据 库 通信 经 过 的 是 管理 网 段 ， 只 需 让 MySQL 监 听 管 理 网 的 IP。 在 这 个 安装 实例 中 ， 可 以 将 管理 网 IP 设 置 为 10.80.80.10。 重 启 


MYSQL 使 配置 生效 。 


代码 如 下 : 


# sed 
-1"8/121.0.0.1/10.80.80.10/" /etc/mysql/my.cnf 
# service mysql restart 


(5) 安装 Messaging 服 务 


OpenStack 组 件 之 间 的 通信 和 需要 通过 支持 AMQP 的 Messaging 服 务 软件 。OpenStack 支 持 的 有 RabbitMQ、Qpid 和 ZeroMQ。 这 里 安装 RabbitMQ。 命 令 如 下 : 


# apt-get install -y rabbitmq-server 


安装 RabbitMQ 服 务 软 件 时 ，RabbitMQ 默 认 用 户 guest 的 密码 是 guest， 出 于 安全 考虑 ， 用 户 可 以 在 实际 环境 中 更 改 密码 。 如 果 用 户 的 RabbitMQ 启 动 失败 ， 那 么 可 能 是 由 于 /etc/hosts 中 127.0.0.1 所 


对 应 的 主机 名 和 使 


命令 hostname 后 的 结果 不 一 致 ， 此 时 可 以 尝试 在 /etc/hosts 的 localhost 前 面 把 hostname 加 入 ， 然 后 再 启动 RabbitMQ。 修 改 guest 密 码 的 命令 是 : 


# rabbitmqctl change password guest NEW PASSWORD 


至 此 ， 前 置 工作 已 经 完成 ， 下 面 可 以 开始 安装 OpenStack 了 。 


2. 安 装 部 署 Keystone 


把 Keystone 作 为 安装 OpenStack 的 第 一 步 ， 因 为 它 是 整个 OpenStack 的 认证 系统 ， 就 好 比 屋子 的 一 扇 门 ， 只 有 通过 了 这 扇 门 ， 才 能 进行 后 面 的 操作 。 另 外 ，Keystone 负 责 OpenStack 的 用 户 管理 ， 


Anm 
^ 


有 创建 了 用 户 ， 才 能 


以 这 个 用 户 的 身份 进入 这 扇 门 。 


安装 配置 Keystone 的 过 程 主要 分 为 下 面 几 步 : 


“ 安装 软件 包 和 修改 配置 文件 。 


: 创建 Keystone 的 数据 库 ， 并 建立 Keystone 的 表 结 构 。 


“启动 服务 ， 确 认 服 务 正常 运行 。 验 证 Keystone 可 以 使 用 。 


- 创建 Keystone 的 管理 员 用 户 。 


© 定义 Keystone 使 用 的 Services 和 API Endpoints o 


“以 创建 的 用 户 来 使 用 Keystone 客 户 端 命令 行 。 


(1) 安装 和 配置 Keystone 


直接 安装 Keystone 一 个 包 即 可 ， 系 统 同 时 会 自动 安装 Python-keystoneclient 的 客户 端 包 ， 其 命令 如 下 : 


# apt-get install -y keystone 


Keystone 的 配置 文件 放 在 /etc/keystone 目 录 下 ， 要 修改 的 主要 是 keystone.conf 这 个 文件 。 主 要 修改 以 下 几 个 参数 : 


# vi /etc/keystone/keystone.conf 
admin token = openstack 


debug = True 
verbose - True 


connection = mysql://keystoneuser:openstack(localhost/keystone 


* admin token: 


这 个 选项 至 关 重 要 ， 可 以 将 其 比喻 成 获取 Keystone 管 理 权限 的 “钥匙 ”。 在 这 里 可 以 设置 一 个 复杂 的 字符 串 ， 因 为 太 简单 的 字符 串 容 易 被 破解 。 由 于 是 测试 环境 ， 笔 者 就 用 openstack 这 


个 字符 串 作 为 admin 的 token。 此 时 ， 因 为 在 Keystone 中 还 未 建立 任何 用 户 ， 所 以 这 个 token 和 用 户 无 关 ， 但 是 这 个 token 在 生产 环境 中 需要 足够 复杂 且 绝 对 保密 。 


' debug 与 verbose: 这 两 个 选项 均 设置 为 True， 用 于 测试 时 查看 详细 的 输出 信息 ， 而 输出 信息 会 保存 在 log_dir 和 log_file 定 义 的 目录 文件 中 。 


“ connection: 这 个 选项 定义 Keystone 使 用 的 数据 库 的 URL。 这 里 用 了 MySQL 的 keystoneuser 用 户 ， 密 码 是 openstack， 数 据 库 地 址 是 localhost， 也 就 是 本 机 ， 数 据 库 名 是 keystone。 注 意 ， 目 前 我 们 还 没有 建 


立 这 个 数据 库 和 数据 库 用 户 。 


在 这 个 测试 环境 中 ， 保 持 配置 文件 中 其 他 选项 不 变 。 


(2) Keystone 的 数据 库 操 作 


需要 在 MySQL 中 建立 一 个 Keystone 的 数据 库 ， 再 创建 一 个 用 户 ， 赋 予 其 对 keystone 数 据 库 的 操作 权限 ， 代 码 如 下 。 注 意 ， 建 立 的 数据 库 名 、 用 户 名 及 密码 要 和 上 面 keystone.conf 配 置 文件 中 的 


connection 选 项 一 致 。 


# mysql -uroot 
# mysql -uroot 
'localhost 


-p -e "CREATE DATABASE keystone;" 
-p -e "GRANT ALL PRIVILEGES ON keystone.* TO'keystoneuser'G 
'IDENTIFIED BY 'openstack';" 


建立 好 的 数据 库 是 空 的， 需要 初始 化 Keystone 数 据 库 的 表 结 构 。Keystone 提 供 了 一 个 很 方便 的 创建 结构 的 命令 : 


4 keystone-manage db sync 


运行 成 功 之 后 ， 


可 以 进入 MySQL 查 看 Keystone 这 个 数据 库 的 表 结 构 和 字段 。 


(3) 确认 Keystone 服 务 正常 运行 


配置 文件 修改 后 需要 重启 服务 : 


# service keystone restart 


如 何 确认 Keystone 服 务 正常 启动 ”根据 笔者 的 经 验 ， 可 以 从 几 个 方面 入 手 ， 这 个 也 是 后 面 经 常会 使 用 的 方法 。 


- 使 用 命令 “service keystone status” 查 看 keystone 进 程 是 否 为 running 状 态 。 
“ 查看 log 文 件 。log 文 件 被 定义 在 keytone.conf 中 ， 默 认 是 /var/log/Keystone/keystone.log， 查 看 是 否 有 出 错 日 志 。 如 果 设置 了 debug 和 vetbose 为 True， 那 么 信息 会 很 详细 ， 有 利于 排 错 。 
“ 调用 命令 “keystone client”。 其 实 前 两 步 是 查看 服务 是 否 正常 启动 ， 真 正确 认 还 需要 第 三 步 ， 即 排 错 。 服 务 启动 了 并 不 代表 Keystone 能 如 用 户 所 愿 地 进行 工作 ， 有 时 配置 选项 设置 成 不 同 的 参数 ， 服 


务 也 能 正常 运行 ,但 是 使 用 Keystone 的 时 候 会 出 错 ， 因 此 ， 运 行 一 个 实际 的 命令 来 验证 Keystone 是 否 能 正常 工作 。 运 行 命令 前 首先 要 输入 token 和 Keystone 的 endpoint: 


# export OS SERVICE TOKEN-openstack 
4 export OS SERVICE ENDPOINT-http://127.0.0.1:35357/v2.0/ 
# keystone user-list 


前 面 两 行 是 设 定 token 和 endpoint 的 环境 变量 。 可 以 把 它 放 入 一 个 文件 里 ， 然 后 每 次 使 用 OpenStack 之 前 只 要 执行 “source 这 个 文件 ” 即 可 。 还 记得 前 面 在 Keystone 配 置 文件 中 的 一 个 选项 
admin_token 吗 ?这 里 的 第 一 个 token 使 的 就 是 当时 设 定 的 那个 值 。 第 三 行 命令 是 测试 Keystone 是 否 能 正常 运行 ， 需 要 列 出 Keystone 中 的 用 户 。 输 出 是 一 个 空 行 ?不 用 担心 ， 这 是 正常 运行 的 表现 ， 至 少 ; 
有 报错 信息 。 运 行 命令 的 时 候 ， 建 议 结合 日 志 的 方法 ， 再 打开 一 个 窗口 使 用 命令 tail 日 志文 件 ， 查 看 是 否 有 报错 情况 。 因 为 到 目前 为 止 还 没有 建立 过 用 户 ， 所 以 肯定 没有 用 户 使 用 的 使 用 Keystone 服 务 的 日 


c 


m 
Dn 


(4) 创建 第 一 个 Keystone 用 户 


接 下 来 的 部 分 可 能 有 点 烦琐 和 难以 理解 ， 但 笔者 不 打算 在 这 里 详细 讲解 每 条 命令 的 意思 ， 也 不 会 说 明 为 什么 要 这 样 做 。 这 些 原理 性 的 内 容 将 在 第 5 章 详细 讲解 。 这 里 的 任务 是 快速 地 把 基本 环境 搭 起 来 ， 
如 果 读者 对 这 部 分 的 内 容 产生 疑惑 ， 可 以 先 照 着 步骤 去 做 ， 相 信 等 有 了 一 个 完整 可 用 的 体系 后 ， 在 使 用 中 会 慢 慢 理解 其 中 的 含义 。 


习 


这 里 将 建立 一 个 用 户 、 一 个 tenant 和 一 个 role， 它 们 之 间 的 关系 是 用 户 属于 tenant， 用 户 在 tenant 中 可 以 有 不 同 的 角色 。 记 住 ， 操 作 之 前 一 定 要 设置 token 和 endpoint 这 两 个 环境 变量 。 


首先 ， 创 建 一 个 具有 管理 权限 的 tenant， 称 为 admin， 其 代码 如 下 : 


# keystone tenant-create --name-admin 


4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property Value l 
4 证 + 
| description | 
i enabled True | 
| id 08cbb73£6689477eb42d7be9a901e55c | 
| name admin | 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


然后 ， 创 建 一 个 用 户 ， 命 名 为 admin， 密 码 设置 为 openstack， 其 代码 如 下 : 


# keystone user-create --name-admin --pass-"openstack" 


Mp re 一 4 
| Property | Value | 
4---------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| email | | 

| enabled | True 

| id | 3372c9032dad24ee9b2dcefcdbbal3f01 | 
| name | admin | 
dp ree. i 4 


接着 ， 创 建 一 个 称 为 admin 的 角色 ， 其 代码 如 下 : 


# keystone role-create --name-admin 


4---------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| Property | Value | 
E ERE E nm M MC E RE 4 
| id | 59aa2c3dcbf542d1a84e6703eb45d8b1 | 
| name | admin | 
ree 二 4 


最 后 ， 把 前 面 创建 的 tenant、 用 户 和 role 组 合 起 来 ， 在 admin 的 tenant 中 分 配 admin 的 角色 给 用 户 admin ， 命 令 如 下 : 


# keystone user-role-add --user admin --role admin --tenant admin 


(5) 定义 Services 和 API Endpoints 


来 提供 组 件 服务 的 


di 


为 了 使 用 Keystone 来 认证 用 户 使 用 的 OpenStack 中 的 其 他 组 件 ， 需 要 在 Keystone 中 创建 组 件 的 服务 和 相应 的 APl Endpoints， 组 件 服务 的 API Endpoints 是 一 组 URL 加 端 
API 接 口 。 


这 里 需要 创建 一 个 Keystone 的 服务 和 Keystone 的 API Endpoints， 其 代码 如 下 : 


# keystone service-create --name keystone --type identity --description 
'OpenStack Identity' 


Er e ERE 二 + 
| Property | Value | 
dtr 一 + 
| description | OpenStack Identity | 
| id | 6660£592£4884e7ca18d498e7aa130a1 | 
| name | keystone | 
| type | identity | 
D EE 十- 一 -一 一 一 -一 -一 -一 一 一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 十 


# keystone endpoint-create --service-id 6660f592f£4884e7ca188498e7aa130al --publicurl 
'http://10.10.101.10:5000/v2.0' --adminurl 

'http://10.80.80.10:35357/v2.0' --internalurl 

'http://10.80.80.10:5000/v2.0' 


4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property | Value | 
pou Aces dilecti ncn eri i ieri ria tee + 
| adminurl http://10.80.80.10:35357/v2.0 | 
j id | 2deelb06cbda4d8095c344ab3671d0ce | 
| internalurl | http://10.80.80.10:5000/v2.0 I 
| publicurl | http://10.10.101.10:5000/v2.0 | 
l region | regionOne | 
| service id | 6660f592f4884e7ca18d498e7aa130a1 | 
-= 一 -一 和 + 


endpoint-create 命 令 中 的 service id 是 service-create 命 令 得 到 的 ID 号 。publicurl 里 面 的 IP 使 用 对 外 是 可 以 访问 的 。adminurl 和 internalurl 使 用 内 部 管理 的 IP， 当 然 这 个 也 可 以 视 实际 情况 而 定 。 


(6) 使 用 Keystone 命 令 行 客户 端 


使 用 命令 行 客户 端 需要 通过 认证 ， 有 以 下 两 种 认证 的 方式 。 


- 使 用 keystone.conf 配 置 文件 中 的 token 认 证 ， 设 置 以 下 两 个 环境 变量 : 


4 export OS SERVICE TOKEN-openstack 
* export OS SERVICE ENDPOINT-http://127.0.0.1:35357/v2.0/ 


“ 使 用 在 Keystone 中 创建 的 用 户 名 及 密码 进行 认证 ， 设 置 以 下 环境 变量 : 


export OS TENANT NAME-admin 

export OS USERNAME-admin 

export OS PASSWORD-openstack 

export OS AUTH URL-"http://192.168.5.101:5000/v2.0/" 


其 中 填 入 需要 认证 用 户 的 tenant、 名 和 密码 ， 最 后 一 个 是 认证 的 URL， 仔 细 观 察 和 Keystone 的 endpoint 中 的 publicurl 的 关系 。 


第 一 种 方式 通过 设置 OS_SERVICE_TOKEN 和 OS_SERVICE_ENDPOINT 来 认证 ， 适 用 于 Keystone 中 还 没有 管理 员 权 限 的 用 户 的 情况 。 现 在 我 们 有 了 一 个 管理 员 用 户 ， 就 应 该 通过 用 户 登 录 ， 而 不 是 使 用 
token。 需 要 取消 OS_SERVICE_TOKEN 和 OS_SERVICE_ENDPOINT 这 两 个 变量 ,然后 再 导入 用 户 的 认证 。 如 果 同 时 设置 了 两 种 方式 ， 那 么 系统 会 有 一 个 忽略 用 户 认证 的 警告 仍旧 使 用 token 的 认证 。 命 令 
如 下 : 


# unset OS SERVICE TOKEN 
# unset OS SERVICE ENDPOINT 


可 以 把 认证 方式 的 变量 写 在 一 个 文件 中 ， 这 里 命令 为 openstackrc， 在 以 后 每 次 使 用 的 时 候 ， 导 入 以 下 文件 即 可 。 


# source openstackrc 
# keystone user-list 


name | enabled | email | 
一 一 一 -一 一 一 个 一 -一 -一 一 一 十 


3. 安 装 Glance 镜 像 组 件 
Glance 组 件 完成 镜像 模板 snapshot 的 存储 工作 。Glance 主 要 包括 了 glance-api 和 glane-registry 两 个 服务 ， 其 安装 和 配置 都 比较 简单 ， 主 要 分 为 以 下 几 步 : 
“ 安装 软件 包 ， 编 辑 配置 文件 。 
“ 创建 Glance 的 数据 库 。 
. 在 Keystone 中 ， 创 建 Glance 的 用 户 、 服 务 和 Endpoint。 
“ 初始 化 Glance 数 据 库 ， 启 动 服务 ， 确 认 服 务 正常 运行 。 
: 在 Glance 中 添加 虚拟 机 镜像 。 
(1) 安装 软件 包 ， 编 辑 配置 文件 


安装 Glance 服 务 时 ， 将 把 glance-api、glance-registry、python-glanceclient 都 安装 上 。 安 装 命令 如 下 : 


# apt-get install -y glance 


Glance 的 配置 默认 文件 在 /etc/glance 下 ， 需 要 修改 如 下 内 容 。 


glance-api.conf 的 修改 如 下 : 


[DEFAULT] 

verbose = True 

debug = True 

Sql connection = mysql://glanceuser:openstack@localhost/glance 
[keystone authtoken] 

auth host = 127.0.0.1 

auth port = 35357 

auth protocol = http 

admin tenant name = service 
admin user - glance 

admin password = openstack 
[paste deploy] 
flavor-keystone 


glance-registry.conf 的 修改 如 下 : 


[DEFAULT] 

verbose - True 

debug - True 

Sql connection = mysql://glanceuser:openstack8localhost/glance 
[keystone authtoken] 

auth host - 127.0.0.1 

auth port = 35357 

auth protocol - http 

admin tenant name = service 
admin user - glance 

admin password = openstack 
[paste deploy] 
flavor-keystone 


(2) 创建 Glance 数 据 库 


根据 上 面 配置 文件 中 设 定 的 sql_connection ， 在 数据 库 中 创建 用 户 名 为 glanceuser， 密 码 为 openstack。 创 建 数 据 库 glance， 赋 予 glanceuser 对 数据 库 glance 的 所 有 权限 ， 其 代码 如 下 : 


# mysql -uroot -p -e "CREATE DATABASE glance;" 
# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON glance.* TO 
'glanceuser'G8'localhost'IDENTIFIED BY 'openstack';" 


(3) 在 Keystone 中 ， 创 建 Glance 的 


在 这 


入 service 这 个 tenant， 赋 予 admin 的 角色 ， 


个 测试 安装 中 ，Glance 需 要 通过 Keystone 来 进行 


户 、 服 务 和 Endpoint 


其 代码 如 下 : 


户 的 身份 认证 。 我 们 已 经 在 前 面 的 glance-api 和 glance-registry 配 置 文件 中 设置 了 认证 的 有 


户 等 ， 现 在 必须 在 Keystone 中 创建 


户 glance, 加 


# keystone tenant-create --name-service 
# keystone user-create --name-glance --pass-openstack 
# keystone user-role-add --user glance --role admin --tenant service 


在 Keystone 通 过 用 户 验 证 后 ， 因 


为 需要 知道 Glance 的 服务 和 Endpoint API, 


所 以 必须 在 Keystone 创 建 ， 其 代码 如 下 : 


# keystone service-create --name glance --type image --description'OpenStack 
Image Service' 
十 


十 -一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property | Value | 
二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| description | OpenStack Image Service 
| id | 7bedcd5298d5404bbc82219f61372c1ld | 
name glance | 
| type | image I 
4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


# keystone endpoint-create --service-id 
"7Ibedcd5298d5404bbc82219£61372c1d 

-publicurl 
'http://10.10.101.10:9292'--adminurl 
'http://10.80.80.10:9292/' --internalurl 
'http://10.80.80.10:9292/' 


------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| Property | Value | 
------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| adminurl | http://10.80.80.10:9292/ I 
| id | 44b36a8c8c5406887£3d0a6d819b57d | 
| internalurl | http://10.80.80.10:9292/ I 
| publicurl | http://10.10.101.10:9292 | 
| region | regionOne 

| 


| 
service id | Tbedicd5298d5404pbc82219£61372c1d 1 


Qin 两 条 命令 的 service id 必须 一 致 


(4 


使 


初始 化 Glance 数 据 库 ， 启 动 服务 ， 确 认 服 务 正常 运行 


glance-manage 命 令 ， 初 始 化 glance 数 据 库 ， 其 命令 如 下 : 


# glance-manage db sync 


重启 服务 ， 查 看 /var/log/glance 


录 下 的 


志文 件 ， 确 保 启动 后 没有 出 错 信息 


。 也 可 以 在 glance-api.conf 和 glance-registry.conf 中 设置 debug 和 verbose 为 True， 来 得 到 更 多 的 


日 志 信息 。 重 启 代码 


# service glance-api restart 
# service glance-registry restart 


最 后 ， 


确认 一 下 服务 是 否 运行 ， 其 代码 如 下 : 


# service glance-api status 
# service glance-registry status 
# glance image-list 


(5 


到 此 为 止 ，Glance 的 环境 已 经 搭建 好 ， 但 是 Glance 中 还 没有 可 上 


在 Glance 中 添加 虚拟 机 镜像 


来 启动 虚拟 机 的 模板 。 模 板 可 以 自己 创建 ， 


的 镜像 ， 只 是 可 以 上 


体 创 建 的 方法 将 会 在 第 6 章 详细 介绍 。 


在 这 个 测试 安装 中 ,为 了 方 


便 ， 使 用 网 络 上 一 个 精简 的 可 启动 的 Linux 系 统 作为 模板 。 首 先 下 载 这 个 小 镜像 ， 其 代码 如 下 : 
# wget http://download.cirros-cloud.net/0.3.1/cirros-0.3.1-x86 64-disk.img 
使 用 Glance 命 令 行 客户 端 把 镜像 添加 到 Glance 中 。Glance 会 在 数据 库 中 记录 ， 并 把 文件 复制 到 指定 的 目录 ， 其 代码 如 下 : 
# glance image-create --name myFirstImage --is-public true --container-format bare 
--disk-format qcow2 --file cirros-0.3.1-x86 64-disk.img 
再 次 运行 “glance image-list” 命 令 查看 已 上 传 的 镜像 ， 其 代码 如 下 : 
# glance image-list 
二 一 一 一 二 二 一 一 一 一 一 一 一 一 一 一 一 一- 一 一- 一 -一 -一 -一 -一 -一 -一 十 一 一 一 一 一 -一 -一 -十 -一 -一 -一 -一 + 
| ID I Name | Disk Format | Container Format i Size 1 Status | 
十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 + 
| d56d2ae1l-2f8e-4801-ac06-b9e0ce7af6da 1 myFirstlImage H qcow2 | bare 1 13147648 1 active H 
十 = 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 
4. 安 装 Neutron 网 络 组 件 


Neutron 在 整个 OpenStack 中 负责 网 络 部 分 的 功能 ， 其 实 Neutro 


中 ， 这 些 网 络 技术 以 plugin 的 形式 使 用 。 
Osz 在 Grizzly 版 本 发 布 以 后 ， 网 


在 控制 节点 上 ， 需 


因此 ， 在 各 个 : 


主要 进行 以 下 几 个 步骤 : 


安装 neutton-servet 服 务 ， 修 改 配置 文件 。 


- 在 Keystone 中 创建 上 


户 、 服 务 和 Endpoint。 


“ 在 MySQL 中 创建 数据 库 和 用 户 。 


n 仅 仅 只 有 管理 功能 ， 实 际 的 网 络 方面 


的 实现 依靠 的 是 更 加 底层 的 网 络 技术 ， 
节点 上 ， 需 要 安装 Neutron 的 不 同 服务 ， 才 能 形成 一 个 真正 的 网 络 组 件 。 


譬如 Linux 网 桥 、Open vSwitch 和 Nicira 等 ， 在 Neutron 


络 组 件 改名 为 Neuttron， 以 前 叫做 Quantum， 因 此 ， 当 看 到 有 的 文档 或 者 安装 过 程 提 到 Quantum 的 时 候 ， 其 实 指 的 就 是 Neutron。 


(1) 安装 软件 包 ， 修 改 配置 文件 


Neutron 的 软件 包 按照 功能 可 以 划分 为 多 个 ， 在 控制 节点 ， 只 需要 安装 neutron-server 的 服务 。 同 时 ， 依 赖 会 安装 neutron-plugin-openvswitch。 其 代码 如 下 : 


# apt-get install -y neutron-server 


修改 配置 文件 ， 


要 是 设 定 Keystone 认 证 和 Neutron 数 据 库 ， 其 代码 如 下 : 


# vi /etc/neutron/neutron.conf 

[keystone authtoken] 

auth host = 127.0.0.1 

auth port = 35357 

auth protocol - http 

admin tenant name - service 

admin user = neutron 

admin password = openstack 

signing dir = $state path/keystone-signing 


[database] 

connection = mysql: //neutronuser:openstack(localhost/neutron 
[DEFAULT] 

* 

如 果 用 户 设置 了 RabbitMo 

的 默认 guest 


密码 ， 那 么 必须 去 掉 这 一 行 的 注释 ， 写 入 自己 设 定 的 密码 
rabbit password = guest 


ovs_neutron_plugin.in 瑟 置 文件 代码 如 下 : 


# vi /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini 

[OVS] 

tenant_network_type = gre 

enable_tunneling = True 

tunnel type = gre 

tunnel id ranges = 1:1000 

[securitygroup] 

firewall driver = neutron.agent.linux.iptables firewall.OVSHybridIptablesFirewallDriver 
[database] 

connection = mysql://neutronuser:openstack810.80.80.10/neutron 


(2) 创建 用 户 、 服 务 和 Endpoint 


在 Keystone 中 创建 用 户 、 服 务 和 Endpoint， 其 代码 如 下 : 


# keystone user-create --name-neutron --pass-openstack 

# keystone user-role-add --user neutron --role admin --tenant service 

# keystone service-create --name neutron --type network --description 
'OpenStack Networking service' 


4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property | Value | 
4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| description | OpenStack Networking service | 
| id | 7dc9902812874042bc96alca983edela | 
| name | neutron | 

type | network | 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


# keystone endpoint-create --service-id 7dc990a812874042bc96alca983edela --publicurl 
'http://10.10.101.10:9696/' --adminurl 
'http://10.80.80.10:9696/' --internalurl 


http://10.80.80.10:9696/ 
1b67e73564£c4£6087fd90aed723d8a4 
http://10.80.80.10:9696/ 


l 

l 

internalurl | 
http://10.10.101.10:9696/ | 
l 

l 


publicurl 
region 
service_id 


regionOne 
71dc990a812874042bc96a1ca983edela 


(3) 创建 Neutron 数 据 库 和 用 户 


因为 Neutron 的 数据 库 会 被 其 他 节点 连接 ， 所 以 必须 赋予 Neutron 数 据 库 用 户 相应 的 权限 ， 使 neutronuser 不 但 能 从 本 机 连接 ， 还 要 能 从 节点 机 器 上 连接 控制 服务 器 上 的 数据 库 ， 其 代码 如 下 : 


# mysql -uroot -p -e "CREATE DATABASE neutron;" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON neutron.* TO 
'neutronuser'G8'$'IDENTIFIED BY'openstack';" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON neutron.* TO'neutronuser' 
'localhost'IDENTIFIED BY'openstack';" 


5. 安 装 Nova 组 件 


Nova 项 目 中 虽然 包含 了 很 多 组 件 ， 但 是 要 在 控制 服务 器 上 安装 除去 nova-compute 的 其 他 一 切 Nova 组 件 。 其 过 程 主要 分 为 下 面 几 步 : 
安装 Nova 软 件 包 ， 设置 Nova 配 置 文件 。 

“ 创建 数据 库 ， 初 始 化 Nova 数 据 库 。 

在 Keystone 中 创建 Nova 用 户 和 Endpoint。 


1) 安装 Nova 软 件 包 ， 并 配置 相应 文件 ， 命 令 如 下 : 


# apt-get install -y nova-api nova-cert novnc nova-consoleauth nova-scheduler 
nova-novncproxy nova-doc nova-conductor 


Nova 的 配置 文件 放 在 /etc/nova 目 录 下 ， 这 次 安装 中 需要 修改 的 是 api-paste.ini 和 nova.conf 这 两 个 文件 。 


api-paste.ini 中 要 修改 的 是 认证 部 分 ， 其 代码 如 下 : 


# vi /etc/nova/api-paste.ini 

[filter:authtoken] 

paste.filter factory = keystoneclient.middleware.auth token:filter factory 
auth host - 127.0.0.1 

auth port = 35357 

auth protocol - http 


admin tenant name - service 

admin user = nova 

admin password = openstack 

signing dir = /var/lib/nova/keystone-signing 
auth version - v2.0 


Nova 几 乎 全 部 的 配置 都 是 写 在 nova.conf 中 的 ， 其 中 选项 参数 很 多 ， 这 里 ， 笔 者 将 列 出 一 份 测试 环境 安装 使 有 


的 nova.conf 配 置 文件 以 供 参考 。 


# vi /etc/nova/nova.conf 

[DEFAULT] 

logdir-/var/log/nova 

state path-/var/lib/nova 

lock path-/run/lock/nova 

verbose-True 

debug-True 

api paste config-/etc/nova/api-paste.ini 

compute scheduler driver-nova.scheduler.simple.SimpleScheduler 

rabbit host-10.80.80.10 

rabbit password-guest 

nova url-http://10.80.80.10:8774/v1.1/ 

sql connection-mysql://novauser:openstack610.80.80.10/nova 

root helper-sudo nova-rootwrap /etc/nova/rootwrap.conf 

enabled apis-ec2,osapi compute,metadata 

* Auth — E 

use deprecated auth-false 

auth strategy-keystone 

# Imaging service 

glance api servers-10.80.80.10:9292 

image service-nova.image.glance.GlanceImageService 

# Vnc configuration 

novnc enabled-true 

novncproxy base url-http://10.10.101.10:6080/vnc auto.html 

novncproxy port-6080 z 

vncserver proxyclient address-10.80.80.10 

vncserver listen-10.80.80.10 

# Network settings 

network api class-nova.network.neutronv2.api.API 

neutron url-http://10.80.80.10:9696 

neutron auth strategy-keystone 

neutron admin tenant name-service 

neutron admin username-neutron 

neutron admin password-openstack 

neutron admin auth url-http://10.80.80.10:35357/v2.0 
libvirt vif driver- 

nova.virt.libvirt.vif.LibvirtHybridOVSBridgeDriver 
linuxnet interface driver- 
nova.network.linux net.LinuxOVSInterfaceDriver 

#If you want Quantum + Nova Security groups 

firewall driver-nova.virt.firewall.NoopFirewallDriver 

security group api-neutron 

#If you want Nova Security groups only, comment the two lines above and 
uncomment line -1-. 

#-1-firewall driver- 

nova.virt.libvirt.firewall.IptablesFirewallDriver 

fMetadata 

service neutron metadata proxy - True 

neutron metadata proxy shared secret - openstack 

metadata host = 10.80.80.10 

metadata listen = 0.0.0.0 

metadata listen port = 8775 

# Compute # 

#compute driver-libvirt.LibvirtDriver 

# Cinder # 

volume api class-nova.volume.cinder.API 

osapi volume listen port-5900 

# Quota # 

quota_cores=5 

quota_floating_ip3=3 

quota gigabytes-20 

quota driver-nova.quota.DbQuotaDriver 

quota instances-5 

quota key pairs-2 

quota ram-51200 

quota volumes-2 


2) 创建 并 初始 化 Nova 数 据 库 ， 命 令 如 下 : 


# mysql -uroot -p -e "CREATE DATABASE nova;" 


因为 Nova 数 据 库 也 需要 其 他 节点 连接 ， 所 以 必须 赋予 从 localhost 和 


他 节点 连接 的 权限 ， 代 码 如 下 : 


# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON nova.* TO novauser8'$' IDENTIFIED BY 


'openstack';" 
# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON nova.* TO novausere'localhost' 
IDENTIFIED BY'openstack';" 


初始 化 Nova 数 据 库 的 表 结 构 : 


# nova-manage db sync 


修改 配置 文件 和 初始 化 数据 库 后 ， 需 要 重启 Nova 所 有 安装 的 服务 ， 其 代码 如 下 : 


# cd /etc/init.d/; for i in $( ls nova-* ); do sudo service $i restart; done 


如 下 命令 查看 Nova 服 务 的 状态 ，:-) 表示 服务 运行 ，XXX 表 示 服 务 停止 。 也 可 以 查看 /var/log/nova 下 的 各 个 日 志文 件 是 否 有 出 错 日 志 。 如 果 有 出 错 
出 现在 nova.conf 配 置 文件 上 。 在 进行 下 一 步 前 ， 必 须 确保 服务 正常 运行 ， 其 代码 如 下 : 


日 志和 XXX 显 示 ， 那 么 必须 排查 错误 。 错 误 很 可 能 


# nova-manage service list 


3) 在 Keystone 中 创建 Nova 用 户 和 Endpoint， 示 例如 下 : 


# keystone user-create --name=nova --pass=openstack 

# keystone user-role-add --user nova --role admin --tenant service 

# keystone service-create --name nova --type compute --description'OpenStack 
Compute Service' 


n 
| l 
+ + 
| description | OpenStack Compute Service l 
| id | bc4873dd598a4£23a2a61b225914efe4 | 
| name | nova | 
| type | compute l 
4------------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


# keystone endpoint-create --service-id bc4873dd598a4f23a2a61b225914efe4 


-publicurl 
'http://10.10.101.10:8774/v2/$ (tenant id)s' --adminurl 
'http://10.80.80.10:8774/v2/$ (tenant id)s' --internalurl 
'http://10.80.80.10:8774/v2/$ (tenant id)s" 


4-------—-——-- ——ÉÁÓ——— 十 
Property | Value 
4------------- 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| adminurl | http://10.80.80.10:8774/v2/$ (tenant id)s | 
| id | e15110d5150247ef88f126ad2ea445ed | 
| internalurl | http://10.80.80.10:8774/v2/$ (tenant id)s | 
| publicurl | http://10.10.101.10:8774/v2/$ (tenant id)s | 
| region | regionOne n | 
| service id | bc4873dd598a4f23a2a61b225914efe4 | 
4------------- X E ——— 十 


运行 Nova 的 客户 端 命令 ， 列 出 当前 可 用 的 镜像 ， 测 试 是 否 能 正常 运行 ， 其 代码 如 下 : 


# nova image-list 


十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4-------------- 4-------- 4-------- 十 

| ID | Name | Status | Server | 

十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4-------------- 4-------- 4-------- 十 

| aae5£478-a8d4-4£56-8fb56-03c8e849f009 | myFirstImage | ACTIVE | | 

十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4-------------- 4-------- 4-------- 十 
6. 安 装 Cinder 


Cinder 有 三 个 组 件 服务 : cinder-api、cinder-scheduler、cinder-volume。 要 在 控制 节点 上 安装 cinder-api 和 cinder-scheduler， 其 中 cinder-api 负 责 接 收 其 他 组 件 或 命令 对 cinder-volume 的 请 求 ， 


而 cinder-scheduler 则 是 Cinder 的 调度 程序 ， 调 度 使 用 哪个 volume。 


(1) 安装 和 配置 


命令 如 下 : 


# apt-get install -y cinder-api cinder-scheduler 


配置 Keystone 认 证 文件 ， 其 代码 如 下 : 


4 vi /etc/cinder/api-paste.ini 
[filter:authtoken] 

paste.filter factory = keystoneclient.middleware.auth token:filter factory 
auth host = 127.0.0.1 

auth port = 35357 

auth protocol - http 

admin tenant name = service 

admin user - cinder 

admin password = openstack 

signing dir = /var/lib/cinder/keystone-signing 
# vi /etc/cinder/cinder.conf 

[DEFAULT] 

rootwrap config = /etc/cinder/rootwrap.conf 
api paste confg = /etc/cinder/api-paste.ini 
iscsi helper = tgtadm 

volume name template = volume-$s 

volume group = cinder-volumes 

verbose - True 

auth strategy - keystone 

state path = /var/lib/cinder 

lock path = /var/lock/cinder 

volumes dir = /var/lib/cinder/volumes 

rabbit password = guest 

[database] 

connection = mysql://cinderuser:openstack6localhost/cinder 


(2) 创建 数据 库 和 Keystone 用 户 


创建 和 cinder.conf 中 connection 变 量 一 致 的 数据 库 用 户 名 及 密码 ， 其 代码 如 下 : 


# mysql -uroot -p -e "CREATE DATABASE cinder;" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON cinder.* TO cinderuser&'localhost' 
IDENTIFIED BY 'openstack';" 

# mysql -uroot -p -e "GRANT ALL PRIVILEGES ON cinder.* TO cinderusere'$£' 
IDENTIFIED BY 'openstack';" 


初始 化 数据 库 cinder 表 结构 : 


# cinder-manage db sync 


在 Keystone 中 添加 cinder 用 户 和 服务 的 Endpoint， 其 代码 如 下 : 


# keystone user-create --name-cinder --pass-openstack 

# keystone user-role-add --user cinder --role admin --tenant service 

# keystone service-create --name-cinder --type-volume --description-"Cinder 
Volume Service" 


4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| Property | Value I 
十 -一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| description | Cinder Volume Service | 
| id | £d435568811a4822a615a75928485969d | 
| name f cinder | 
| type | volume | 
4------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


# keystone endpoint-create --service-id=fd43556d811a4822a615a75928d5969d 
--publicurl=http://10.80.80.10:8776/v1/%\ (tenant id\)s --internalurl- 
http://10.80.80.10:8776/v1/%\ (tenant_id\)s --adminurl- 
http://10.80.80.10:8776/v1/%\ (tenant_id\)s 


启 Cinder 服 务 ， 其 代码 如 下 : 


# service cinder-api restart 
# service cinder-scheduler restart 


可 以 使 用 命令 查看 Cinder 服 务 的 状态 ， 其 代码 如 下 : 


# cinder-manage service list 
Binary Host Zone Status 


State Updated At 
cinder-scheduler controller nova enabled 
:-) 2013-11-25 13:16:09 


7. 安 装 Horizon 


Horizon 是 OpenStack 的 一 个 Dashboard， 也 就 是 以 网 页 形式 面向 用 户 的 一 个 界面 。 通 过 Horizon， 用 户 可 以 很 方便 地 使 用 OpenStack， 而 不 必 使 用 烦琐 的 命令 行 。 安 装 OpenStack 的 Dashboard 的 过 
程 很 简单 ， 其 命令 如 下 : 


# apt-get install -y openstack-dashboard memcached 


安装 好 以 后 ， 就 可 以 使 用 Web 浏 览 器 了 ， 这 里 建议 使 用 Chrome 访 问 http://10.80.80.10/horizon。 此 处 暂时 可 以 使 用 用 户 名 admin 和 密码 Openstack 进 行 登录 。 这 个 界面 是 Ubuntu 包装 过 的 ， 如 果 想 
Horizon 原 来 的 界面 ， 可 以 去 除 Ubuntu 的 界面 ， 代 码 如 下 : 


# dpkg --purge openstack-dashboard-ubuntu-theme 
# service apache2 restart; service memcached restart 


至 此 ， 可 以 打开 Web 浏 览 器 ， 在 地 址 栏 里 输入 http://10.80.80.10/horizon， 其 中 IP 地 址 需 更 换 成 用 户 实际 环境 中 的 。 此 时 ， 会 看 到 OpenStack 登 录 界面 ， 使 用 用 户 名 admin 和 密码 OpenStack 进 行 登 
录 ， 如 图 2-2 所 示 。 


ooo Usage Overview - OpenStack Dashboard 
[a k |(c [p] | |E 10.80.80.10/horizon/admin] 
aal 一 


|» Overview ME M c cs 


openstack Select a period of time to query its usage: 


MSO From: 2013-11-01 To: 2013-11-2(| | Submit | The date should be in YYYY-mm-dd format. 


Active instances: - Active RAM: - This Period's VCPU-Hours: - This Period's GB-Hours: - 
Usage Summary 


Project Name 


图 2-2 ”OpenStack 登 录 界 面 


在 Keystone 中 创建 Member 角 色 ， 因 为 Horizon 中 会 用 到 这 个 角色 ， 其 代码 如 下 : 


# keystone role-create --name Member 


2.4.2 ”网 络 节点 的 安装 


网 络 节点 主要 负责 虚拟 机 的 网 络 控制 ， 包 括 DHCP、 虚 拟 路 由 、 公 网 访问 虚拟 机 等 。 通 过 软件 网 桥 等 方式 控制 虚拟 机 的 网 络 ， 代 蔡 传 统 环境 中 所 需要 的 交换 机 、 路 由 器 等 。 在 这 个 测试 案例 中 ， 使 
Open vSwitch 作 为 底层 的 网 络 驱动 。 


1. 系 统 环境 准备 


操作 系统 仍旧 使 用 Ubuntu 12.04 LTS。 网 络 节点 需要 三 个 网 口 ， 分 别 连 接 network-1、network-2、network-3， 前 两 个 网 络 在 控制 节点 安装 的 时 候 定义 过 ， 而 network-3 是 个 新 网 络 ， 是 个 私有 的 网 
络 ，IP 网 段 自 定义 ， 它 需要 和 所 有 的 计算 节点 通信 ， 因 此 ， 可 以 和 计算 节点 连 在 一 个 交换 机 上 或 者 VLAN 中 。 


(1) 网 络 IP 设 置 


eth0 在 前 面 定义 的 network-1 网 络 中 ， 这 个 网 络 连 接 Internet。 计 算 节 点 中 的 虚拟 机 出 入 Internet 的 流量 都 从 这 里 经 过 。 
“ethl 在 前 面 定 义 的 network-2 网 络 中 。 这 个 接 入 管理 网 络 的 网 口 主要 负责 和 controller 之 间 的 组 件 通信 ， 和 包括 所 有 的 数据 库 连 接 、RabbitMQ 等 。 


“ eth2 在 新 定义 的 网 络 中 ， 命 名 为 network-3。 这 个 网 络 和 所 有 的 计算 节点 连接 ， 用 于 Open vSwitch 的 GRE 隧 道 ， 使 得 虚拟 机 能 和 网 络 节点 通信 。 代 码 如 下 : 


# cat /etc/network/interfaces 

# network-l Internet 

auto eth0 

iface eth0 inet static 
address 10.10.101.11 
netmask 255.255.252.0 
network 10.10.100.0 
broadcast 10.10.103http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/..255 
gateway 10.10.100.1 
dns-nameservers 8.8.8.8 

# network-2 Management 

auto ethl 

iface ethl inet static 
address 10.80.80.11 
netmask 255.255.255.0 

4 network-3 vm 

auto eth2 

iface eth2 inet static 
address 10.10.50.1 
network 255.255.255.0 


ENE, MEUT: 


Iml 


# /etc/init.d/networking restart 


(2) 添加 Havana 的 源 


添加 Havana 的 源 ， 代 码 如 下 : 


apt-get install -y python-software-properties 
add-apt-repository cloud-archive:havana 
apt-get update -y 

apt-get upgrade -y 

apt-get dist-upgrade -y 


dEGEGEGE GE 


更 新 完 系 统 之 后 ， 可 以 根据 实际 情况 重启 服务 器 。 
(3) 同步 时 间 


同步 时 间 的 命令 如 下 : 


4 apt-get install -y ntp 
# vi /etc/ntp.conf 


编辑 ntp.conf， 在 控制 节点 的 IP 中 加 入 下 面 的 一 行 ， 并 且 放 在 所 有 “server ntp 服 务 器 域名 ”的 行 之 前 ， 或 者 删除 其 他 关于 server ntp 服 务 器 的 行 。 


server 10.80.80.10 


看 启 NTP 服 务 ， 命 令 如 下 : 


中 


# service ntp restart 


打开 IP 转 发 的 功能 ， 因 为 网 络 节点 需要 把 从 vm 网 络 来 的 数据 包 转发 到 Internet， 其 代码 如 下 。 


# sysctl net.ipv4.ip forward=1 


写 入 配置 文件 ， 使 得 重启 后 仍旧 生效 ， 命 令 如 下 。 


# vi /etc/sysctl.coof 
net.ipv4.ip forward = 1 


2. zz Open vSwitch 和 Neutron 


由 于 采用 Open vSwitch 作 为 Neutron 的 plugin 来 实现 底层 的 网 络 虚 拟 化 ， 因 此 需要 安装 Open vSwitch, f£Open vSwitch 中 添加 两 个 虚拟 网 络 交换 机 : br-int、br-ex， 其 代码 如 下 : 


# apt-get install -y openvswitch-switch openvswitch-datapath-dkms 
# ovs-vsctl add-br br-int 
# ovs-vsctl add-br br-ex 


在 网 络 节点 ， 需 要 安装 Neutron 的 大 部 分 组 件 ， 这 里 安装 openvswitch-plugin 的 agent， 负 责 neutron server 和 plugin 之 间 的 相互 联系 ，dhcp-agent 负 责 虚 拟 网 络 的 DHCP，|3-agent 负 责 虚拟 网 络 的 
路 由 和 外 部 连接 ， 另 外 ， 还 有 metadata-agent， 其 代码 如 下 。 


neutron-plugin-openvswitch-agent 
neutron-dhcp-agent 
neutron-13-agent 
neutron-metadata-agent 
# apt-get -y install neutron-plugin-openvswitch-agent neutron-dhcp-agent 
neutron-13-agent neutron-metadata-agent 


3. 配 置 Neutron 的 agent 


1) 全 局 配置 ， 代 码 如 下 : 


# vi /etc/neutron/neutron.conf 
[DEFAULT] 
debug - True 


verbose - True 
rabbit host = 10.80.80.10 


* 

如 果 修 改过 rabbit 

的 guest 

密码 ， 则 一 定 要 修改 下 面 一 行 
rabbit password = guest 


2) Open vSwitch 的 plugin 配 置 文件 ， 代 码 如 下 : 


# vi /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini 
[OVS] 

tenant network type = gre 

enable tunneling - True 

tunnel type = gre 

tunnel id ranges - 1:1000 

integration bridge = br-int 

tunnel bridge - br-tun 

local ip = 10.10.50.1 

[securitygroup] 

firewall driver - neutron.agent.linux.iptables firewall.OVSHybridIptablesFirewallDriver 
[database] 

connection - mysql://neutronuser:openstack810.80.80.10/neutron 


limit 


EARS, ， 命 令 如 下 : 


# service neutron-plugin-openvswitch-agent restart 


3) 对 metadata-agent 进 行 配置 ， 命 令 如 下 : 


4 vi /etc/neutron/metadata agent.ini 
[DEFAULT] 

debug - True 

auth url = http://10.80.80.10:5000/v2.0 


Ors auth_region 必 须 和 Keystone 中 Neutron 服 务 的 endpoint 一 致 ， 默 认 配 置 文件 里 是 RegionOne， 而 Keystone 建 立 endpoint 时 如 果 不 命名 ， 默 认 是 regionOne， 这 一 个 大 小 写 问 题 曾 经 让 笔者 在 研究 


metadata 上 花 了 一 个 下 午 的 时 间 。 


auth region = regionOne 

admin tenant name = service 

admin user = neutron 

admin password = openstack 

nova metadata ip - 10.80.80.10 

nova metadata port = 8775 
metadata proxy shared secret = openstack 


EARS, ， 命 令 如 下 : 


# service neutron-metadata-agent restart 


4) 对 dhcp-agent 进 行 配置 ， 命 令 如 下 : 


# vi 

[DEFAULT] 

debug = True 

interface driver = neutron.agent.linux.interface.OVSInterfaceDriver 
dhcp driver = neutron.agent.linux.dhcp.Dnsmasq 

enable metadata network = True 


启 服务 ， 命 令 如 下 : 


# service neutron-dhcp-agent restart 


5) 对 3-agent 进 行 配置 ， 命 令 如 下 : 


# vi 

[DEFAULT] 

debug = True 

interface driver = neutron.agent.linux.interface.OVSInterfaceDriver 
external network bridge = br-ex 


中 


启 服务 ， 命 令 如 下 : 


# service neutron-13-agent restart 


使 用 “neutron agent-list” 命 令 可 以 验证 目前 的 Neutron 服 务 。 记 住 ， 运 行 命令 前 必须 先导 入 用 户 凭证 。 


4 设置 br-ex 虚 拟 网 络 


前 面 已 经 创建 了 一 个 br-ex 的 虚拟 交换 机 ， 使 用 命令 ifconfig 可 以 看 到 这 个 网 口 。 这 个 虚拟 网 络 是 在 |3-agent 的 配置 里 设置 的 ， 简 单 来 说 ， 是 用 于 虚拟 机 和 Internet 之 间 通 信 的 ， 
上 连接 Internet 的 eth0 接 入 到 这 个 br-ex 的 虚拟 交换 机 上 。 


Qi. 运行 下 面 这 条 命令 后 ，eth0 网 络 会 断 掉 ， 需 确保 在 配置 的 时 候 是 通过 管理 网 络 接 入 的 ， 或 者 是 直接 在 console 上 执行 的 。 


此 ， 需 要 把 网 络 节点 


# ovs-vsctl add-port br-ex eth0 


在 /etc/network/interfaces 中 把 eth0 的 网 络 配 置 进行 修改 ， 如 下 所 示 : 


auto eth0 

iface eth0 inet manual 
up ifconfig $IFACE 0.0.0.0 up 
up ip link set SIFACE promisc on 
down ip link set SIFACE promisc off 
down ifconfig SIFACE down 


如 果 需 要 让 网 络 节点 配置 一 个 可 以 从 这 个 网 络 访问 的 地 址 ， 那 么 可 以 把 原来 的 eth0 的 地 址 配置 在 br-ex 网 口上 。 


2.4.3 ”计算 节点 的 安装 


计算 节点 主要 负责 运行 虚拟 机 。 在 这 个 测试 案例 中 ， 使 用 KV M 作 为 底层 的 虚拟 化 技术 ，OpenStack 采 用 libvirt 库 来 管理 KVM。 网 络 使 用 Open vSwitch 来 和 其 他 计算 节点 及 网 络 节点 通信 。 在 计算 节点 
需要 安装 以 下 几 个 部 分 : 


m 


* Open vSwitch 


* neutron-plugin-openvswitch-agent 


* nova-compute 


* open-iscsi 


1. 系 统 环境 准备 


操作 系统 仍旧 使 用 Ubuntu 12.04 LTS。 网 络 节点 需要 两 个 网 口 ， 分 别 连 接 network-2 和 network-3。 


1) 网 络 IP 设 置 如 下 : 


# cat /etc/network/interfaces 
# network-2 Management 
auto ethl 
iface ethl inet static 

address 10.80.80.12 
netmask 255.255.255.0 

# network-3 vm 

auto eth2 

iface eth2 inet static 
address 10.10.50.2 
network 255.255.255.0 


:eth1 在 前 面 定义 的 netwotk-2 网 络 中 。 这 个 接 入 管理 网 络 的 网 口 主要 负责 和 conttoller 之 间 的 组 件 通信 ， 包 括 所 有 的 数据 库 连接 、RabbitMQ 等 。 


“ eth2 在 前 面 定义 的 network-3 网 络 中 。 这 个 网 络 和 所 有 计算 节点 连接 ， 用 于 Open vSwitch 的 GRE 隧 道 ， 使 得 虚拟 机 能 和 网 络 节 点 通信 。 


重启 网 络 ， 命 令 如 下 : 


# /etc/init.d/networking restart 


2) 添加 Havana 的 源 ， 其 代码 如 下 : 


apt-get install -y python-software-properties 
add-apt-repository cloud-archive:havana 
apt-get update -y 

apt-get upgrade -y 

apt-get dist-upgrade -y 


dGE GE GE GE 


更 新 完 系 统 之 后 ， 可 以 根据 实际 情况 重启 服务 器 。 


Qi 因为 计算 节点 使 用 时 是 不 需要 公 网 连接 的 ， 也 不 应 该 有 公 网 连接 ， 只 在 安装 更 新 软件 时 需要 连接 公共 网 络 ， 所 以 可 以 先 保证 用 户 的 一 个 网 口 可 以 从 公 网 下 载 安 装 软件 包 ， 等 安装 完 之 后 再 恢复 
成 内 网 。 


3) 同步 时 间 ， 代 码 如 下 : 


# apt-get install -y ntp 
# vi /etc/ntp.conf 


编辑 ntp.conf， 在 控制 节点 的 |P 中 加 入 下 面 一 行 ， 并 且 放 在 所 有 “server ntp 服 务 器 域名 ”的 行 之 前 ， 或 者 删除 其 他 关于 server ntp 服 务 器 的 行 。 


server 10.80.80.10 


limi 


BIENTPBRAS, REUT: 


# service ntp restart 


2.2: Open vSwitch 和 Neutron 的 plugin 


接 下 来 安装 Open vSwitch 和 Neutron 的 plugin， 命令 如 下 : 


# apt-get install -y openvswitch-switch openvswitch-datapath-dkms 


创建 一 个 用 于 和 内 部 虚拟 机 通信 的 虚拟 网 络 交换 机 ， 命 令 如 下 : 


# ovs-vsctl add-br br-int 
# apt-get install -y neutron-plugin-openvswitch-agent 


修改 配置 文件 ， 除 了 local_ip 需 要 填 入 计算 节点 本 机 的 network-3 网 络 的 |P 之 外 基本 上 和 网 络 节点 的 一 样 。 其 代码 如 下 : 


# vi /etc/neutron/neutron.conf 
[DEFAULT] 

debug - True 

verbose = True 

rabbit host = 10.80.80.10 


* 
如 果 修 改过 rabbit 


的 guest 

密码 ， 则 一 定 要 修改 下 面 一 行 

rabbit password = guest 

# vi /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini 
[OVS] 

tenant network type = gre 

enable tunneling = True 

tunnel type - gre 

tunnel id ranges - 1:1000 

integration bridge = br-int 

tunnel bridge - br-tun 

local ip = 10.10.50.2 

[securitygroup] 

firewall driver - neutron.agent.linux.iptables firewall.OVSHybridIptablesFirewallDriver 
[database] 

connection = mysql://neutronuser:openstack810.80.80.10/neutron 


服务 ， 命 令 如 下 : 


# service neutron-plugin-openvswitch-agent restart 


3. 安 装 KVM 的 虚拟 机 计算 支持 


安装 KVM 的 虚拟 机 计算 支持 命令 如 下 : 


# apt-get install -y nova-compute-kvm 


编辑 配置 文件 ， 加 入 认证 ， 代 码 如 下 : 


# vi /etc/nova/api-paste.ini 
[filter:authtoken] 

paste.filter factory = keystoneclient.middleware.auth token:filter factory 
auth host - 10.80.80.10 

auth port = 35357 

auth protocol - http 

admin tenant name = service 

admin user = nova 

admin password = openstack 

signing dir = /var/lib/nova/keystone-signing 
auth version - v2.0 


配置 Nova 文 件 ， 可 以 从 控制 节点 把 nova.conf 文 件 的 内 容 复制 过 来 ， 然 后 进行 修改 ， 主 要 修改 一 些 涉及 IP 的 地 方 ， 其 代码 如 下 : 


# vi /etc/nova/nova.conf 

[DEFAULT] 

logdir-/var/log/nova 

state path-/var/lib/nova 

lock path-/run/lock/nova 

verbose-True 

debug-True 

api paste config-/etc/nova/api-paste.ini 

compute scheduler driver-nova.scheduler.simple.SimpleScheduler 
rabbit host-10.80.80.10 
rabbit password-guest 
nova url-http://10.80.80.10:8774/v1.1/ 

Sql connectionemysql://novauser:openstack810.80.80.10/nova 
root helper-sudo nova-rootwrap /etc/nova/rootwrap.conf 
enabled apis-ec2,osapi compute,metadata 
# Auth 
use deprecated auth-false 
auth strategy-keystone 
# Imaging service 
glance api servers-10.80.80.10:9292 
image service-nova.image.glance.GlanceImageService 
# Vnc configuration 
novnc enabled-true 
novncproxy base url-http://10.10.101.10:6080/vnc auto.html 
novncproxy port-6080 
vncserver proxyclient address-10.80.80.12 
vncserver listen-10.80.80.12 
# Network settings 
network api class-nova.network.neutronv2.api.API 
neutron url-http://10.80.80.10:9696 
neutron auth strategy-keystone 
neutron admin tenant name-service 
neutron admin username-neutron 
neutron admin password-openstack 
neutron admin auth url-http://10.80.80.10:35357/v2.0 

libvirt vif driver-nova.virt.libvirt.vif.LibvirtHybridOVSBridgeDriver 

linuxnet interface driver-nova.network.linux net.LinuxOVSInterfaceDriver 
#If you want Quantum + Nova Security groups T 
firewall driver-nova.virt.firewall.NoopFirewallDriver 
security group api-neutron 
#If you want Nova Security groups only, comment the two lines above and uncomment 

line -1-. 

#-1-firewall driver-nova.virt.libvirt.firewall.IptablesFirewallDriver 
fMetadata 
service neutron metadata proxy - True 
neutron metadata proxy shared secret = openstack 
# Compute 4 
fcompute driver-libvirt.LibvirtDriver 
* Cinder 4 
volume api class-nova.volume.cinder.API 
osapi volume listen port-5900 
# Quota # 
quota_cores=5 
quota floating ip3-3 
quota gigabytes-20 
quota driver-nova.quota.DbQuotaDriver 
quota instances-5 
quota key pairs-2 
quota ram-51200 
quota volumes-2 


设置 qemu 的 cgroup 文 件 ， 代 码 如 下 : 


# vi /etc/libvirt/qemu.conf 

cgroup device acl = [ 

"/dev/null", "/dev/full", "/dev/zero", 

"/dev/random", "/dev/urandom", 

"/dev/ptmx", "/dev/kvm", "/dev/kqgemu", 
"/dev/rtc","/dev/hpet", "/dev/vfio/vfio", "/dev/net/tun" 
] 


中 


启 libvirt 服 务 和 nova-compute 服 务 ， 命 令 如 下 : 


# service libvirt-bin restart 


# service nova-compute restart 


244 块 存储 节点 的 安装 


块 存储 节点 负责 提供 volume ( 云 硬 盘 ) 。Cinder 服 务 可 以 在 块 存储 上 创建 volume， 以 块 存储 的 形式 通过 iSCSI 提供 给 计算 节点 ， 计 算 节 点 使 用 底层 的 libvirt 库 把 volume 块 存储 挂 载 给 虚拟 机 使 用 。 


在 控制 节点 上 已 经 安装 了 cinder-api 和 cinder-scheduler， 在 真正 的 块 存储 节点 上 需要 安装 cinder-volume 的 服务 ， 它 调度 相应 程序 ， 在 节点 上 创建 或 删除 volume， 并 更 新 维护 volume 在 数据 库 中 的 状 
态 。cinder-volume 可 以 使 用 多 种 后 端 来 创建 块 存储 ， 最 简单 的 方式 是 使 用 LVM (使 用 一 个 vg， 然 后 在 这 个 vg 上 创建 |v 作 为 volume) 。 我 们 在 测试 中 也 使 用 LVM 的 后 端 。 


1. 系 统 环境 准备 


操作 系统 仍旧 使 用 Ubuntu 12.04 LTS。 网 络 节 点 需要 一 个 网 口 ， 即 network-2。 这 个 网 络 除了 和 控制 节点 进行 Rabbit MQ、MySQL 数 据 通信 之 外 ， 还 和 计算 节点 进行 iSCSI 的 数据 通信 。 在 实际 环境 
中 ， 所 有 的 虚拟 机 和 云 硬盘 数据 都 通过 这 个 网 络 ， 可 能 造成 虚拟 机 读 写 volume 的 瓶颈 问题 ， 因 此 ， 可 以 考虑 使 用 单独 的 网 络 和 计算 节点 连接 ， 必 要 时 可 以 采取 网 口 绑 定 或 采用 10Gbit/s 网 络 。 


1) 进行 网 络 IP 设 置 ， 代 码 如 下 : 


# cat /etc/network/interfaces 
auto ethl 

iface ethl inet static 
address 10.80.80.13 

netmask 255.255.255.0 


笔者 这 样 设置 是 不 能 连接 外 网 的 ， 但 由 于 需要 安装 软件 ， 因 此 读者 可 以 先 用 其 他 能 连接 Internet 的 网 络 代替 。 


2) 重启 网 络 ， 命 令 如 下 : 


# /etc/init.d/networking restart 


3) 添加 Havana 的 源 ， 代 码 如 下 : 


apt-get install -y python-software-properties 
add-apt-repository cloud-archive:havana 
apt-get update -y 

apt-get upgrade -y 

apt-get dist-upgrade -y 


dE dbdEGEGE 


更 新 完 系 统 之 后 ， 可 以 根据 实际 情况 重启 服务 器 。 


4) 同步 时 间 ， 代 码 如 下 : 


# apt-get install -y ntp 
# vi /etc/ntp.conf 


编辑 ntp.conf， 在 控制 节点 的 IP 中 加 入 下 面 的 一 行 ， 并 且 放 在 所 有 “server ntp 服 务 器 域名 ”的 行 之 前 ， 或 者 删除 其 他 关于 server ntp 服 务 器 的 行 。 


server 10.80.80.10 


2. 安 装配 置 cinder-volume 


因为 使 用 LVM 作 为 后 端 ， 所 以 必须 安装 lvm2 包 。 安 装 命令 如 下 : 


# apt-get install lvm2 


确保 系统 中 有 除了 安装 系统 所 在 的 盘 之 外 的 一 块 单独 的 硬盘 或 者 使 用 RAID 做 的 盘 。 可 以 使 用 命令 fdisk-| 查 看 。 在 笔者 的 环境 中 ， 系 统 安装 在 /dewsda 中 ， 笔 者 有 额外 的 一 块 硬盘 /dev/sdb， 用 它 创建 
一 个 vg， 命 名 为 cinder-volume， 其 代码 如 下 : 


# pvcreate /dev/sdb 
# vgcreate cinder-volumes /dev/sdb 


安装 cinder-volume 组 件 和 相关 的 包 ， 命 令 如 下 : 


# apt-get -y install cinder-volume python-mysqldb 


配置 cinder.conf 文 件 ， 这 个 文件 和 控制 节点 的 cinder.conf 文 件 大 致 相同 ， 唯 一 不 同 的 是 需要 改变 rabbit_host 参 数 和 数据 库 的 connection 参 数 ， 把 其 中 的 IP 都 设置 成 控制 节点 的 IP， 而 在 控制 节点 上 的 
配置 文件 中 ， 这 两 个 参数 的 IP 可 以 是 localhost。 其 代码 如 下 : 


# vi /etc/cinder/cinder.conf 

[DEFAULT] 

rootwrap config = /etc/cinder/rootwrap.conf 
api paste confg = /etc/cinder/api-paste.ini 
iscsi helper - tgtadm 

volume name template = volume-$s 

volume group = cinder-volumes 

debug = True 

verbose - True 

auth strategy = keystone 

state path = /var/lib/cinder 

lock path = /var/lock/cinder 

volumes dir = /var/lib/cinder/volumes 
rabbit host = 10.80.80.10 

rabbit password = Cloud-open 

[database] 

connection = mysql://cinderuser:OPenstack(010.80.80.10/cinder 


重启 服务 ， 命 令 如 下 : 


# service cinder-volume restart 


部 完成 之 后 ， 可 以 在 控制 节点 上 运行 命令 cinder-manage service list， 查 看 cinder-volume 服 务 是 否 正 常 运行 。 


2.2 在 Ubuntu 上 使 用 源 代码 编译 安装 


对 于 各 个 版 本 的 Linux 来 说， 都 会 制作 Openstack 相 应 的 软件 包 。 虽 然 在 2.1 节 中 介绍 了 二 进 制 包 安 装 ， 但 是 在 这 里 笔者 还 是 会 讲 一 下 源 代 码 安装 OpenStack 基 本 组 件 的 过 程 ， 因 为 从 学 习 的 角度 来 说 ， 
通过 源 代码 安装 Openstack 各 个 组 件 的 过 程 ， 可 以 使 读者 对 Openstack 的 框架 和 各 个 组 件 的 作用 有 一 个 比 使 用 二 进 制 安装 更 全 面 的 了 解 。 另 一 个 好 处 是 ， 二 进 制 包 的 发 布 会 滞后 于 源 代码 ， 如 果 想 在 第 一 时 


间 兰 试 一 些 最 新 的 功能 或 修复 Bug 后 的 版 本 ， 源 代码 安装 是 个 不 错 的 选择 。 当 然 ， 源 代码 安装 比 二 进 制 包 安装 复杂 ， 有 一 定 的 难度 ， 并 且 要 用 户 自 己 去 解决 一 些 依赖 问题 。 


在 本 节 中 ， 将 会 介绍 如 何 使 用 源 代 码 方式 安装 Keystone、Glance、Nova、Neutron、Cinder 和 Horizon 组 件 。OpenStack 各 个 项 目的 代码 都 可 以 在 GitHub (https://github.com/openstack) 上 获 


取 。 在 接 下 来 的 安装 过 程 中 ， 笔 者 按照 1 个 controller 节 点 、1 个 network 节 点 、1 个 compute 节 点 、1 个 volume 节 点 的 架构 来 部 署 。 因 为 其 架构 方式 和 二 进 制 安装 一 样 ， 所 以 一 些 基础 配置 ， 如 每 个 节点 
设置 、NTP 配 置 等 ， 在 本 节 中 跳 过 。 本 节 使 用 的 操作 系统 依旧 是 Ubuntu 12.04 LTS 版 本 。 


2.2.1 ”控制 节点 的 安装 


在 controller 节 点 上 计划 部 署 如 下 组 件 : 
- RabbitMQ 

* PostgreSQL. 

* Keystone 

* Glance 

* Neutron 

* Nova 中 除去 nova-compute 的 其 他 组 件 


: Horizon 


controller 上 各 个 组 件 负责 的 功能 与 使 用 二 进 制 包 安装 时 的 一 样 。 在 本 节 中 ， 如 果 没有 特殊 说 明 ， 那 么 与 2.1 节 中 介绍 的 架构 一 样 ， 只 是 安装 方式 上 有 些 区 别 。 


1. 前 置 准备 


首先 进行 IP 配 置 ， 以 及 RabbitMQ、NTP 的 安装 配置 ， 可 参考 2.1 节 相关 内 容 。 


使 用 PostgreSQL 作 为 OpenStack 的 后 端 数据 库 。 如 果 需 要 一 个 稳定 的 开源 数据 库 ， 那 么 PostgreSQL 可 以 优先 考虑 。 此 外 ， 需 要 安装 Python 访 问 PostgreSQL 时 用 的 psycopg2， 这 是 目前 流行 的 


PostgreSQL 的 Python 连 接 库 。 命 令 如 下 : 


# apt-get install postgresql postgresql-client 
# apt-get install python-sqlalchemy python-psycopg2 


创建 一 个 数据 库 用 户 openstackdbadmin， 设 置 密码 为 openstack123。 这 个 用 户 将 作为 各 个 组 件 连接 数据 库 的 唯一 用 户 。 示 例 代 码 如 下 : 


# su - postgres 

$ psql 

postgres-4 CREATE USER openstackdbadmin with password 
'openstack123'; 

postgres=# Nq 


的 IP 


在 二 进 制 包 安 装 的 时 候 使 用 root 用 户 ， 并 且 安 装 的 时 候 会 把 配置 文件 配置 成 特定 的 用 户 组 属性 ， 不 需要 手动 干预 。 但 是 在 使 用 源 代码 安装 的 时 候 ， 必 须 处 理 好 这 些 文件 的 用 户 组 属性 关系 。 在 本 节 中 ， 


笔者 将 会 以 openstack 这 个 用 户 的 身份 去 安装 、 配 置 、 启 动 服务 。 首 先 建立 一 个 称 为 openstack 的 用 户 ， 并 且 加 入 到 sudo 组 ， 让 其 有 使 用 sudo 的 权限 。 命 令 如 下 : 


# useradd -m openstack 
# usermod -G sudo openstack 


接 下 来 的 包 都 会 放 在 openstack 这 个 用 户 的 主 目录 下 ， 在 这 里 是 /home/openstack 


Quis 除非 特殊 说 明 ， 否 则 本 节 其 余 操 作 都 是 在 openstack 这 个 用 户 下 执行。 


下 载 需 要 用 到 的 Git 工 具 的 源 代 码 ， 在 Ubuntu 下 安装 ， 命 令 如 下 : 


$ sudo apt-get install git 


对 于 学 习 源 代码 安装 的 一 个 较 好 的 ， 也 是 官方 的 方法 就 是 阅读 OpenStack 开 发 人 员 写 的 一 套 安 装 脚本 ,我 们 称 之 为 DevStack， 其 源 代码 在 GitHub 上 维护 (https://github.com/openstack- 


dev/devstack) 。 这 个 项 目的 初 囊 是 让 开发 人 员 能 够 快速 建立 一 个 完整 的 OpenStack 开 发 环境 ， 该 项 目 由 Rackspace 的 团队 创建 ， 并 且 由 OpenStack 的 开发 社区 维护 ， 它 的 脚本 更 新 速度 应 该 是 最 接近 于 


Openstack 开 发 的 ， 一 些 新 的 功能 在 脚本 中 都 会 更 新 体现 出 来 。 无 论 是 开发 人 员 还 是 系统 运 维 工 程 师 ， 这 个 脚本 都 是 学 习 Openstack 的 一 个 重要 资源 。 后 面 的 安装 也 是 基于 这 个 脚本 的 ， 会 用 到 里 面 的 一 些 
文件 ， 因 此 ， 首 先 需要 下 载 该 项 目 脚本 的 代码 : 

$ git clone https://github.com/openstack-dev/devstack 

源 代码 安装 和 二 进 制 包 安 装 的 区 别 主要 体现 在 几 个 方面 ， 如 果 读者 能 把 握 住 哪些 是 不 同 的 ， 哪 些 是 相同 的 ， 那 么 学 会 二 进 制 包 安 装 后 ， 源 代码 安装 的 学 习 就 会 相对 容易 点 。 第 一 个 区 别 是 安装 的 软件 包 


不 同 。 在 二 进 制 包 中 ， 各 个 Linux 发 行 平台 已 经 把 OpenStack 组 件 中 每 个 软件 打 成 相应 的 包 ， 其 中 包括 运行 组 件 所 需 的 很 多 依赖 包 。 而 源 代码 安装 方式 ， 除 了 安装 OpenStack 社 区 发 布 的 组 件 包 外 ， 还 需要 


手动 安装 那些 组 件 所 需要 的 依赖 包 。 能 和 否 完全 正确 地 安装 好 依赖 包 是 要 解决 的 一 个 关键 问题 。 第 二 个 区 别 体现 在 配置 文件 上 。 二 进 制 包 安 装 好 后 ， 都 会 在 /etc 下 建立 好 所 需 的 配置 文件 。 而 源 代码 安装 需要 


自己 去 建立 相关 目录 。 第 三 个 区 别 是 启动 问题 。 在 二 进 制 包 安 装 好 后 ， 往 往 都 配置 成 了 相应 Linux 系 统 版 本 的 启动 方式 ， 璧 如 使 
本 和 方式 都 不 一 样 ， 因 人 而 异 。 还 有 一 些小 的 区 别 就 是 源 代码 安装 需要 建立 用 户 ， 自 己 设置 OpenStack 组 件 的 安装 路 径 、 用 户 、 权 限 ， 手 动 建立 一 些 必要 的 目录 等 。 至 于 两 者 相同 的 地 方 ， 很 明显 就 


service 启 动 。 而 源 代码 安装 方式 ， 需 要 自己 写 启动 脚本 ， 每 个 人 的 启动 脚 


是 数据 


库 ， 以 及 配置 文件 中 的 参数 。 


Openstack 各 个 组 件 的 配置 文件 都 会 放 在 /etc 下 的 各 个 目录 中 ， 包 括 nova、glance、keystone、neutron 等 。 这 样 做 是 为 了 统一 规范 每 个 组 件 的 配置 目录 ， 方 便 管 理 。 这 里 介绍 一 下 安装 的 思路 。 一 般 
情况 下 ， 在 /etc 下 建立 组 件 的 目录 ， 设 置 为 用 户 的 权限 ， 在 各 个 组 件 的 源 代码 中 也 有 相应 的 etc 目 录 ， 其 中 包括 需要 用 到 的 配置 文件 。 把 要 用 的 配置 文件 从 源 代码 目录 复制 到 /etc 下 组 件 的 目录 中 ， 然 后 编 
辑 /etc 下 相应 的 配置 文件 。 安 装 的 思路 是 首先 确保 每 个 组 件 需要 的 依赖 包 已 经 安装 ， 然 后 在 源 代码 的 第 一 层 目录 ， 执行 Python 的 安装 命令 。 这 样 一 个 组 件 就 安装 好 了 。 


2. 安 装 部 署 Keystone 


首先 下 载 Keystone 源 代码 ， 并 且 切 换 到 Havana 版 本 的 稳定 分 支 : 


$ git clone https://github.com/openstack/keystone 
$ cd keystone 
$ git checkout stable/havana 


在 /etc 下 建立 名 为 keystone 的 目录 。 设 置 属 主 为 用 户 openstack。 从 下 载 的 Keystone 源 代码 中 把 /etc 下 的 配置 文件 复制 到 /etc/keystone 下 ， 其 代码 如 下 : 

$ sudo mkdir /etc/keystone 

$ sudo chown openstack:openstack /etc/keystone 

$ cd -/keystone/etc 

$ cp -p keystone.conf.sample /etc/keystone/keystone.conf 

$ cp -p policy.json /etc/keystone/ 

Keystone 有 许多 配置 选项 ， 这 也 是 OpenStack 一 个 比较 大 的 特点 。Openstack 会 尽量 支持 更 多 的 ， 同 时 比较 流行 的 一 些 开 源 软 件 来 完成 类 似 功 能 。 由 于 不 同 的 开源 软件 有 自身 的 特点 和 功能 ， 因 此 
Openstack 可 给 用 户 比 较 多 的 选择 余地 ， 用 户 可 根据 自身 的 情况 选择 适合 的 方式 。 在 Keystone 中 ， 选 择 存 放 认证 数据 (包括 用 户 、 密 码 等 数据 ) 的 方式 时 ， 可 以 选择 LDAP、 数 据 库 。 在 这 里 我 们 把 用 得 比 


较 多 ， 同 时 也 比较 容易 上 手 的 MySQl 数据库 作为 存放 数据 的 方式 。 在 认证 方式 上 ，Keystone 可 以 使 用 原 有 的 UUID 的 方式 ， 也 可 以 选择 后 来 加 入 的 PKI 方 式 来 增强 安全 性 。 在 本 节 中 ， 会 介绍 一 些 使 用 广泛 
的 配置 ， 其 他 更 多 内 容 可 以 从 第 5 章 获 取 。 需 要 配置 keystone.conf 以 下 主要 的 选项 : 


[DEFAULT] 

admin token = openstack 
bind host = 0.0.0.0 

public port = 5000 

admin port = 35357 

debug = True 

verbose - True 

log file = keystone.log 
log dir = /var/log/keystone 
[sql] 


connection = postgres://openstackdbadmin:openstack123@localhost/keystone 
[identity] 

driver = keystone.identity.backends.sql.Identity 

[catalog] 

driver = keystone.catalog.backends.sql.Catalog 

[token] 

driver = keystone. token .backends .kvs . Token 


[signing] 
token format = PKI 


初始 化 Keystone， 首 先 要 创建 Keystone 所 用 的 数据 库 ， 以 及 一 些 配置 文件 中 用 到 的 目录 ， 然 后 初始 化 Keystone 用 的 PKI。 


需要 创建 不 存在 的 目录 ， 用 来 存放 Keystone 日 志 ， 可 在 keystone.conf 中 定义 ， 其 代码 如 下 : 


$ sudo mkdir /var/log/keystone 
$ sudo chown openstack:openstack /var/log/keystone 


需要 创建 不 存在 的 目录 ， 用 来 存放 Keystone 使 用 PKI 的 相关 文件 ， 其 代码 如 下 : 


$ sudo mkdir /var/cache/keystone 
$ sudo chown openstack:openstack /var/cache/keystone 


创建 Keystone 所 用 的 数据 库 ， 代 码 如 下 : 


$ sudo su - postgres 

$ psql 

postgres-4 CREATE DATABASE keystone; 

postgres-4* GRANT ALL PRIVILEGES ON DATABASE keystone TO openstackdbadmin; 
postgres=# Nq 


切记 要 退出 postgres 用 户 ， 返 回 到 Openstack 用 户 环境 中 ， 其 代码 如 下 : 


postgres$ exit 


进入 devstack 项 目的 目录 ， 因 为 要 用 到 里 面 的 一 些 文件 。 


$ cd 
^/devstack/files/apts 


在 devstack 项 目 中 ， 开 发 人 员 告 诉 了 我 们 需要 安装 哪些 前 置 依赖 的 和 需要 使 用 的 第 三 方 的 软件 包 ， 这 里 需要 安装 general 和 keystone， 其 代码 如 下 : 


$ for i in'cut -fl -d" " general keystone'; do sudo apt-get install -y $i; done 


Keystone 需 要 用 到 passlib 软 件 包 ， 使 用 PKI 时 必须 安装 ， 其 代码 如 下 : 


$ sudo pip install passlib 


安装 Keystone 组 件 ， 其 代码 如 下 : 


$ cd 
-/keystone 
$ sudo python setup.py develop 


进入 Keystone 目 录 ， 其 代码 如 下 : 


$ cd ~/keystone 
$ bin/keystone-manage db_sync 
$ bin/keystone-manage pki setup 


下 面 开始 安装 Keystone Client, Keystone Client 是 一 个 使 用 Keystone 的 命令 行 接口 工具 ， 和 Dashboard 一 样 ， 它 能 完成 大 部 分 的 日 常 操作 。 熟 悉 和 熟练 使 用 命令 行 工具 对 维护 OpenStack 及 其 每 一 个 
组 件 是 非常 重要 的 ， 系 统管 理 员 90% 的 工作 是 通过 Client 命 令 行 完成 的 ， 而 不 是 通过 Dashboard。 


切记 退回 到 OpenStack 的 home 目 录 ， 所 有 组 件 的 顶层 都 在 用 户 home 目 录 下 ， 其 代码 如 下 : 


$ cd 
$ git clone https: //github.com/openstack/python-keystoneclient 
$ cd python-keystoneclient 


在 安装 的 过 程 中 ， 如 果 出 现 依赖 包 安 装 报错 的 情况 ， 可 根据 出 错 的 Python 软件 包 的 URL 进 行 手动 下 载 ， 并 进行 安装 ， 然 后 返回 安装 Keystone Client， 其 代码 如 下 : 


$ sudo python setup.py develop 


3. 使 用 mux 启 动 Keystone 


至 此 ， 已 经 安装 好 了 Keystone 服 务 和 命令 行 下 的 Keystone Client。 接 下 来 要 启动 Keystone 进 程 。 我 们 是 通过 源 代码 方式 来 安装 Keystone 的 ， 没 有 配置 成 Ubuntu 服务 管理 程序 ， 因 此 ， 不 能 像 二 进 制 
包 方 式 安装 后 那样 ， 通 过 命令 “service keystone start” 来 启动 ， 而 是 需要 直接 运行 Keystone 的 可 执行 文件 ， 并 加 上 一 些 配置 文件 的 参数 。 


$ cd 
^/keystone 


可 执行 文件 都 放 在 bin 目 录 下 。--config-file 参 数 指明 了 Keystone 的 配置 文件 路 径 。 


$ bin/keystone-all --config-file /etc/keystone/keystone.conf 


D 


启动 完成 后 ， 是 不 是 发 现 什 么 输出 也 没有 ，Shell 也 不 会 返回 提示 符 ? 而 一 旦 关 掉 SSH 窗 口 或 按 <Crtl> + <C> 组 合 键 后 ，Keystone 进 程 就 结束 了 。 是 不 是 应 该 把 这 个 程序 放 在 后 台 运 行 呢 ? 这 里 要 用 型 
端 复 用 软件 tmux。tmux 是 一 个 类 似 于 screen 的 软件 ， 采 用 BSD 授 权 。Ubuntu 12.04 下 默认 安装 了 这 个 优秀 的 软件 ， 在 这 里 仅 简单 地 使 用 它 来 打开 一 个 会 话 。 退 出 前 面 创建 的 Keystone 进 程 ， 不 要 怕 ， 因 
我 们 已 经 学 会 如 何 启动 Keystone 了 。 用 <Ctrl> + <C> 组 合 键 中 断 刚才 创建 的 Keystone 进 程 ， 当 然 也 可 以 再 开启 一 个 终端 会 话 窗 口 ， 用 命令 kill 结 束 Keystone 进 程 。 


过 


在 下 面 这 行 代码 中 ，new-session 打 开 一 个 新 的 会 话 ，-s 给 这 个 会 话 命名 为 keystone， 按 回 车 键 之 后 可 以 看 到 一 个 空白 的 新 的 会 话 。 


$ tmux new-session -s keystone 


执行 启动 Keystone 的 命令 ， 代 码 如 下 : 


$ bin/keystone-all --config-file /etc/keystone/keystone.conf 


读者 可 能 会 发 现 ， 这 里 介绍 的 内 容 看 上 去 和 前 面 介绍 的 内 容 差不多 。 然 后 先 按 住 <Ctrl > 和 <B> 键 不 放 ， 然 后 再 按 <D> 键 ， 退 出 刚才 新 建 的 会 话 。 是 不 是 又 返回 到 我 们 新 建 会 话 之 前 的 窗口 了 ? 现在 使 
命令 “ps aux|grep keystone”， 查 看 一 下 Keystone 的 进程 是 否 还 存在 。 不 存在 的 话 记得 发 邮件 告诉 笔者 。 现 在 回 到 tmux， 在 源 代码 安装 时 会 多 次 使 用 tmux， 使 用 下 面 的 命令 可 列 出 将 会 用 到 的 和 tmux 
相关 的 命令 。 


$ tmux new-session -s name 


列 出 当前 存在 的 所 有 的 tmux 会 话 ， 代 码 如 下 : 


$ tmux list-sessions 


返回 会 话 名 为 name 的 会 话 ， 代 码 如 下 : 


$ tmux attach-session -t name 


现在 可 以 使 用 命令 “tmux attach-session-t keystone” 回 到 刚才 创建 的 Keystone 会 话 中 。tmux 还 有 很 多 参数 和 命令 ， 可 以 使 用 命令 “man tmux” 查 看 。 


接 下 来 是 关于 使 用 Keystone 的 内 容 ， 包 括 创建 用 户 等 ， 都 和 二 进 制 包 安 装 方式 一 样 ， 读 者 可 以 参考 2.1 节 的 相关 内 容 。 


4. 安 装 部 署 Glance 


安装 Glance 的 思路 和 过 程 与 安装 Keystone 类 似 ， 大 致 的 过 程 可 以 分 为 下 载 源 代 码 、 安 装 依赖 软件 包 、 安 装 Glance 和 Glance Client、 编 辑 Glance 的 配置 文件 等 。 


Qi 将 OpenStack 的 数据 目录 放 在 /data 下 ， 包 括 Glance 的 镜像 和 Nova 的 虚拟 机 等 。 读 者 需要 自己 建立 这 个 目录 ， 并 且 确 保 这 个 目录 足够 大 能 满足 用 户 环境 所 需 的 大 小 。 


在 安装 过 程 中 ， 确 保 这 个 目录 所 在 的 文件 系统 的 可 用 空间 有 50GB， 涉 及 的 命令 如 下 : 


$ cd 

$ git clone https://github.com/openstack/glance 
$ cd glance 

$ git checkout stable/havana 


安装 Glance 组 件 所 需要 的 依赖 软件 ， 命 令 如 下 : 


$ cd ~/devstack/files/apts 
$ for i in ^ cut -fl -d" " glance'; do sudo apt-get install -y $i; done 


安装 Glance 组 件 ， 代 码 如 下 : 


$ cd ~/glance 
$ sudo python setup.py develop 


创建 用 来 存放 Glance 配 置 文件 的 目录 ， 和 Keystone 一 样 ， 也 是 放 在 /etc 下 ， 其 代码 如 下 : 


$ sudo mkdir -p /etc/glance 
$ sudo chown openstack:openstack 
$ cd -/glance 
$ cp etc/glance-registry.conf /etc/glance/ 
$ vi /etc/glance/glance-registry.conf 
[DEFAULT] 
verbose - True 
debug = True 
bind host - 0 .0 
bind port = 9191 
log file = /var/log/glance/registry.log 
Sql connection = connection = postgres://openstackdbadmin:openstack1238 
localhost/glance 
[paste deploy] 
flavor = keystone 
[keystone authtoken] 
auth host - 127.0.0.1 
auth port = 35357 
auth protocol - http 
admin tenant name = service 
admin user - glance 
admin password = openstack 
signing dir = /var/cache/glance/registy 
$ cp etc/glance-api.conf /etc/glance/ 
$ vi /etc/glance/glance-api.conf 
[DEFAULT] 
verbose = True 
debug - True 
default store - file 
bind host .0.0.0 
bind port = 9292 
log file = /var/log/glance/api.log 
filesystem store datadir = /data/glance/images/ 
image cache dir = /var/cache/glance/ 
Sql connection = connection = postgres://openstackdbadmin:openstack12381ocalhost/glance 
[paste deploy] 
flavor = keystonetcachemanagement 
[keystone authtoken] 
auth host - 127.0.0.1 
auth port = 35357 
auth protocol - http 
admin tenant name - service 
admin user = glance 
admin password = openstack 
signing dir = /var/cache/glance/api 


Oz 以 上 给 出 的 是 配置 文件 中 需要 修改 和 注意 的 部 分 ， 其 他 没有 列 出 的 按照 默认 设置 即 可 ， 不 要 删除 其 他 在 这 里 没有 列 出 的 配置 项 。 以 下 给 出 的 配置 也 是 如 此 。 


建立 专门 的 Glance 目 录用 来 存放 镜像 文件 和 镜像 缓存 ， 代 码 如 下 : 


$ sudo mkdir /data/glance 
$ sudo chown -R openstack:openstack /data/glance 
$ mkdir -p /data/glance/images 
$ mkdir -p /data/glance/cache 
$ cp -p etc/glance-regisgry-paste.ini /etc/glance/ 
$ cp -p etc/glance-api-paste.ini /etc/glance/ 
$ cp -p etc/glance-cache.conf /data/glance/cache/ 
$ vi /data/glance/cache/glance-cache.conf 
[DEFAULT] 
verbose - True 
debug - True 
filesystem store datadir = /data/glance/images/ 
image cache dir = /data/glance/cache/ 
auth url = http://127.0.0.1:5000/v2.0/ 
admin tenant name = service 
admin user - glance 
admin password = openstack 
$ cp -p etc/policy.json /etc/glance/ 


在 PostgreSQL 中 建立 数据 库 glance， 代 码 如 下 : 


$ sudo su - postgres 

$ psql 

postgres-4 CREATE DATABASE glance; 

postgres-4 GRANT ALL PRIVILEGES ON DATABASE glance TO openstackdbadmin; 
postgres=# \q 

postgres$ exit 


初始 化 数据 库 glance 中 的 表 结 构 ， 代 码 如 下 : 


$ bin/glance-manage db sync 

$ sudo mkdir -p /var/cache/glance/api 

$ sudo chown openstack:openstack /var/cache/glance/api 

$ sudo mkdir -p /var/cache/glance/registry 

$ sudo chown openstack:openstack /var/cache/glance/registry 
$ sudo mkdir /var/log/glance 

$ sudo chown openstack:openstack /var/log/glance 


下 面 安装 Glance Client， 代 码 如 下 : 


$ cd && git clone https://github.com/openstack/python-glanceclient 
$ cd python-glanceclient && sudo python setup.py develop 


5. 启 动 Glance 


Glance 服 务 包括 glance-registry 和 glance-api， 需 要 分 别 启动 这 两 个 服务 进程 。 同 启动 Keystone 一 样 ， 使 用 tmux 来 建立 两 个 新 会 话 ， 分 别 命名 为 glance-registry 和 glance-api。 命 令 如 下 : 


$ cd -/glance 
$ tmux -c "bin/glance-registry --config-file-/etc/glance/glance-registry.conf" 
$ tmux -c "bin/glance-api --config-file-/etc/glance/glance-api.conf" 


6. 安 装 部 署 Nova 


首先 下 载 Nova 源 代码 ， 并 且 切 换 到 Havana 版 本 的 稳定 分 支 :; 


$ cd 

$ git clone https://github.com/openstack/nova 
$ cd nova 

$ git checkout stable/havana 


安装 Nova 组 件 所 需要 的 依赖 软件 ， 代 码 如 下 : 


$ cd -/devstack/files/apts 
$ for i in ^ cut -f1 -d" " nova`; do sudo apt-get install -y $i; done 


安装 Nova 组 件 ， 代 码 如 下 : 


$ cd ~/nova 
$ sudo python setup.py develop 


安装 Nova Client， 代 码 如 下 : 


$ cd && git clone https://github.com/openstack/python-novaclient 
$ cd python-novaclient && sudo python setup.py develop 


配置 Nova， 主 要 是 建立 一 些 必要 的 目录 ， 把 配置 文件 从 源 代码 目 录 中 复制 到 /etc 下 ， 设 置 用 户 的 sudo 权 限 等 ， 其 代码 如 下 : 


cd ~/nova 

sudo mkdir /etc/nova 

sudo chown openstack:openstack /etc/nova 

cp etc/nova/policy.json /etc/nova/ 

cp etc/nova/api-paste.ini /etc/nova/ 

cp etc/nova/nova.conf.sample /etc/nova/nova.conf 

mkdir -m 755 /etc/nova/rootwrap.d 

cp etc/nova/rootwrap.d/*.filters /etc/nova/rootwrap.d 

sudo chown -R root:root /etc/nova/rootwrap.d 

sudo chmod 644 /etc/nova/rootwrap.d/* 

cp etc/nova/rootwrap.conf /etc/nova 

sed -e "s:^filters path-.*$:filters path-/etc/nova/rootwrap.d:" -i /etc/nova/ 
rootwrap.conf 

sudo chown root:root /etc/nova/rootwrap.conf 

sudo chmod 0644 /etc/nova/rootwrap.conf 

sudo vi /etc/sudoers.d/nova-rootwrap 


AAA XD AD AD An Ap AP AP: AD A A9 4D A 


把 以 下 内 容 添加 到 nova-rootwrap 文 件 中 。 


openstack ALL-(root) NOPASSWD: /usr/local/bin/nova-rootwrap /etc/nova/rootwrap.conf * 
$ sudo chmod 0440 /etc/sudoers.d/nova-rootwrap 

$ sudo mkdir -p /var/nova 

$ sudo chown openstack:openstack /var/cache/nova 

$ sudo mkdir -p /data/nova 

$ sudo chown -R openstack:openstack /data/nova 

$ mkdir /data/nova/keys 

$ sudo mkdir /var/log/nova 

$ sudo chown -R openstack:openstack /var/log/nova 


下 载 noVNC， 因 为 noVNC 不 是 OpenStack 项 目的 组 件 ， 所 以 需要 去 noVNC 的 项 目 网 站 下 载 。 


$ cd && git clone https://github.com/kanaka/noVNC.git 


接 下 来 就 是 编辑 配置 文件 ， 可 参照 2.1 节 相关 内 容 。 注 意 ， 把 nova.conf 中 的 state_path 参 数 改 成 现在 的 /data/nova， 数 据 库 改 成 使 用 PostgreSQL 的 格式 。 配 置 文件 完成 之 后 ， 使 用 命令 nova-manage 
运行 “db sync" 同步 一 下 。 


7. 启 动 Nova 服 务 


启动 Nova 的 服务 同样 使 用 mux， 可 参照 Glance 和 Keystone 的 使 用 方式 。 启 动 的 服务 与 二 进 制 包 安 装 方式 一 样 ， 代 码 如 下 : 


cd ~/nova 

tmux -c "bin/nova-api --config-file-/etc/nova/nova.conf" 

tmux -c "bin/nova-conductor --config-file-/etc/nova/nova.conf" 

tmux -c "bin/nova-cert --config-file-/etc/nova/nova.conf" 

tmux -c "bin/nova-scheduler --config-file-/etc/nova/nova.conf" 

tmux -c "bin/nova-novncproxy --config-file-/etc/nova/nova.conf --web -/noVNC" 
tmux -c "bin/nova-consoleauth --config-file-/etc/nova/nova.conf" 


A AD APP: APP AY 


8. 安 装配 置 neutron-server 


安装 neutron-server 的 方式 和 前 面 介绍 的 Keystone、Nova、Glance 类 似 ， 主 要 思路 是 : 下 载 源 代码 、 安 装 源 代码 、 建 立 Neutron 和 Open vSwitch plugin 的 目录 并 且 设 置 权 限 、 复 制 源 代 码 中 的 配 
文件 到 相应 的 目录 中 、 设 置 rootwrap 配 置 文 件 。 剩 下 的 和 前 几 节 类 似 ， 即 修改 配置 文件 内 容 、 建 立 数 据 库 、 启 动 服务 ， 这 部 分 内 容 不 再 歼 述 。 其 代码 如 下 : 


cd 

git clone https://github.com/openstack/neutron 

cd devstack/files/apts 

for i in ^ cut -f1 -d" 

cd -/neutron 

git checkout stable/havana 

sudo python setup.py develop 

sudo mkdir/etc/neutron 

sudo chown openstack:openstack /etc/neutron 

cd && cp etc/neutron.conf /etc/neutron 

mkdir -p /etc/neutron/plugins/openvswitch 

cp etc/neutron/plugins/openvswitch/ovs neutron plugin.ini /etc/neutron/plugins/ 
openvswitch/ 

sudo mkdir /var/lib/neutron 

sudo chown openstack:openstack /var/lib/neutron 

mkdir -p -m 755 /etc/neutron/rootwrap.d 

Cp -pr etc/neutron/rootwrap.d/* /etc/neutron/rootwrap.d/ 

sudo chown -R openstack:openstack /etc/neutron/rootwrap.d 

sudo chmod 644 /etc/neutron/rootwrap.d/* 

cp etc/rootwrap.conf /etc/neutron/ 

sudo chown root:root /etc/neutron/rootwrap.conf 

sudo chmod 0644 /etc/neutron/rootwrap.conf 

sudo vi /etc/sudoers.d/neutron-rootwrap 


neutron'; do sudo apt-get install -y $i; done 


太太 太太 证 太古 放生 证 A AP AR AD AP APA AD A: AP A AP 


把 下 面 第 一 行 代码 加 入 到 neutron-rootwrap 文 件 中 ， 接 着 执行 余下 命令 。 


openstack ALL-(root) NOPASSWD: /usr/local/bin/neutron-rootwrap /etc/neutron/rootwrap.conf * 
$ sudo chmod 0440 /etc/sudoers.d/neutron-rootwrap 
$ sudo chown root:root /etc/sudoers.d/neutron-rootwrap 
$ cp etc/api-paste.ini /etc/neutron/ 
$ cp etc/policy.json /etc/neutron/ 
$ sudo mkdir /var/cache/neutron 
$ sudo chown openstack:openstack /var/cache/neutron 
$ cd -/neutron 
$ tmux -c "bin/neutron-server --config-file /etc/neutron/neutron.conf --config- 
file /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini" 


安装 Neutron Client， 命 令 如 下 : 


cd 

git clone https://github.com/openstack/python-neutronclient 
cd python-neutronclient 

sudo python setup.py develop 


4n n An An 


9. 安 装 部 署 Cinder 


下 面 安装 Cinder 组 件 ， 代 码 如 下 。 注 意 ， 由 于 同 前 面 其 他 组 件 安装 类 似 ， 因 此 不 再 进行 具体 说 明 。 


cd 

git clone https://github.com/openstack/cinder 

cd devstack/files/apts 

for i in ` cut -f1 -d" " cinder'; do sudo apt-get install -y $i; done 
cd ~/cinder 

git checkout stable/havana 

sudo python setup.py develop 

sudo mkdir -p /etc/cinder 

sudo chown openstack:openstack /etc/cinder/ 

cp etc/cinder/policy.json /etc/cinder 

sudo mkdir -m 755 /etc/cinder/rootwrap.d 

sudo cp etc/cinder/rootwrap.d/*filters /etc/cinder/rootwrap.d/ 
sudo chown -R root:root /etc/cinder/rootwrap.d 

sudo chmod 644 /etc/cinder/rootwrap.d/* 

cp etc/cinder/rootwrap.conf /etc/cinder/ 

sudo chown root:root /etc/cinder/rootwrap.conf 

sudo chmod 0644 /etc/cinder/rootwrap.conf 

sudo vi /etc/sudoers.d/cinder-rootwrap 


AP AP AP AP: A9 AP: AP AP AP A AP AP A AP A9 4 40 A 


添加 下 面 第 一 行 代码 到 cinder-rootwrap 文 件 中 ， 接 着 执行 余下 命令 。 


openstack ALL-(root) NOPASSWD: /usr/local/bin/cinder-rootwrap /etc/cinder/ 
rootwrap.conf * 

$ sudo chmod 0440 /etc/sudoers.d/cinder-rootwrap 

$ sudo chown root:root /etc/sudoers.d/cinder-rootwrap 

$ cp etc/cinder/api-paste.ini /etc/cinder 


其 余 的 配置 文件 内 容 ， 包 括 安装 tgt、 建 立 数据 库 等 内 容 ， 可 参照 2.1 节 相关 内 容 。 在 控制 节点 上 ， 启 动 cinder-api 和 cinder-scheduler 服 务 即 可 ， 其 代码 如 下 : 


$ tmux -c "bin/cinder-api --config-file-/etc/cinder/cinder.conf" 
$ tmux -c "bin/cinder-scheduler --config-file-/etc/cinder/cinder.conf" 


10.zz3& Horizon 


安装 Horizon 的 方法 完全 可 以 参照 devstack 的 脚本 ， 主 要 是 先 安装 apache2 等 依赖 软件 包 ， 然 后 复制 配置 文件 ， 进 行 一 定 的 修改 即 可 ， 其 代码 如 下 : 


cd 

git clone https://github.com/openstack/horizon 

cd devstack/files/apts 

for i in ` cut -f1 -d" " horizon'; do sudo apt-get install -y $i; done 

cd ~/horizon 

git checkout stable/havana 

sudo python setup.py develop 

cp openstack dashboard/local/local settings.py.example openstack dashboard/ 
local/local settings.py ui 

sudo mkdir -p -/horzion/.blackhole 

sudo rm -f /etc/apache2/sites-enabled/000-default 

sudo touch /etc/apache2/sites-available/horizon.conf 

sudo a2ensite horizon 

cd -/devstack 

sudo sed -e "s,$USER$,openstack,g; s,$GROUPS,openstack,g; s, SHORIZO 
N DIR$, /home/openstack/horizon,g;s, APACHE NAMES,apache2,g;s, $DEST$, 
/home/openstack,g;s,$HORIZON REQUIRES,,g;" files/apache-horizon.template > 
/etc/apache2/sites-available/horizon.conf 


4mam4mAmdm4m Ann n 4n 4n An 4 A 


最 后 ， 重 启 Apache 服 务 。 


222 ”计算 节点 的 安装 


计算 节点 的 任务 就 是 负责 运行 虚拟 机 ， 对 于 计算 节点 操作 系统 的 安装 ， 默 认 把 /目录 分 区 尽量 分 配 充 足 ， 至 少 50GB。 这 里 使 
plugin 是 Open vSwitch， 因 此 ， 还 需要 安装 Neutron 的 Open vSwitch 的 agent， 以 及 Open vSwitch 本 身 。 


需要 使 用 或 安装 的 组 件 : 


: KVM, libvirt 
* nova-compute 
* neutron-plugin-openvswitch-agent 
* Open vSwitch 


Oze 为 了 保证 和 controller 节 点 的 时 间 一 致 ， 需 安装 NTP 并 同步 时 间 。 


1. 安 装 nova-compute 


KVM。 此 外 ， 这 个 架构 中 使 


的 网 络 方式 是 Neutron， 使 


的 Neutron 的 


首先 ， 回 到 工作 目录 ， 命 令 如 下 : 


$ cd 


下 载 devstack 脚 本 和 Nova 的 源 代码 ， 命 令 如 下 : 


$ git clone https://github.com/openstack-dev/devstack 


$ git clone https://github.com/openstack/nova 


安装 nova-compute 所 需要 的 依赖 软件 包 ， 代 码 如 下 : 


$ cd devstack/files/apts 


$ for iin ` 


cut -f1 -d" " n-cpu'; do sudo apt-get install -y $i; done 


安装 nova-compute 组 件 ， 代 码 如 下 : 


$ cd ~/nova 


$ git checkout stable/havana 
$ sudo python setup.py develop 


因为 底层 使 用 KVM 虚 拟 化 技术 ， 所 以 必须 安装 KVM 和 libvirt 库 ， 命 令 如 下 : 


$ sudo apt-get install -y kvm libvirt-bin python-libvirt 


2. 配 置 Nova 相 关 文 件 


配置 示例 如 下 : 


cd ~/nova 
sudo mkdir 
sudo chown 


sudo chown 


sed -e 


sudo chown 
sudo chmod 


UAA AA A U A A A A A A U 


/etc/nova 
openstack:openstack /etc/nova 


cp etc/nova/api-paste.ini /etc/nova/ 

cp etc/nova/nova.conf.sample /etc/nova/nova.conf 
mkdir -m 755 /etc/nova/rootwrap.d 

cp etc/nova/rootwrap.d/*.filters /etc/nova/rootwrap.d 


-R root:root /etc/nova/rootwrap.d 


sudo chmod 644 /etc/nova/rootwrap.d/* 
cp etc/nova/rootwrap.conf /etc/nova 

s:^filters path-.*$:filters path-/etc/nova/rootwrap.d:" -i /etc/nova/ 
rootwrap. 


conf 
root:root /etc/nova/rootwrap.conf 
0644 /etc/nova/rootwrap.conf 


sudo vi /etc/sudoers.d/nova-rootwrap 


把 第 一 行内 容 添加 到 nova-rootwrap 文 件 中 ， 并 执行 余下 命令 。 


openstack ALL-(root) NOPASSWD: /usr/local/bin/nova-rootwrap /etc/nova/rootwrap.conf * 
$ sudo chmod 0440 /etc/sudoers.d/nova-rootwrap 


需要 手动 建立 存放 虚拟 机 文件 的 实际 目录 instances， 代 码 如 下 : 


sudo mkdir 
sudo chown 
sudo mkdir 
sudo chown 


HDD 


-p /data/nova/instances 

-R opsntack:openstack /data/nova 
/var/log/nova 

-R openstack:openstack /var/log/nova 


3. fii Einova-compute 


配置 示例 如 下 : 

$ sudo modprobe nbd || true/ 

$ sudo modprobe kvm || true/ 

$ kvm-ok 

$ sudo vi /etc/libvirt/qemu.conf 


修改 qemu.conf 文 件 中 以 下 部 分 内 容 : 


cgroup device acl = [ 


"/dev/null", "/dev/full", "/dev/zero", 
"/dev/random", "/dev/urandom", 
"/dev/ptmx", "/dev/kvm", "/dev/kqemu", 
"/dev/rtc", "/dev/hpet","/dev/net/tun", 


] 


$ sudo usermod -G libvirtd openstack 


然后 修改 配置 文件 ， 可 参照 2.1 节 相关 内 容 ， 其 代码 如 下 。 注 意 ， 在 这 个 例子 中 ，nova.conf 中 的 state_path 的 目录 应 该 设置 成 /data/nova。 在 一 切 配置 完成 之 后 ， 启 动 nova-compute 服 务 。 


$ cd -/nova 


$ tmux -c "sg libvirtd bin/nova-compute --config-file-/etc/nova/nova.conf" 


4. 安 装 Neutron 的 Open vSwitch plugin 


计算 节点 需要 使 用 Open vSwitch 和 Neutron 的 Open vSwitch plugin。 在 二 进 制 包 安装 过 程 中 ，Open vSwitch 在 安装 Neutron 时 候 被 依赖 安装 了 ， 而 在 这 里 我 们 必须 手动 安装 Open vSwitch， 其 代码 


如 下 : 


$ sudo apt-get install -y openvswitch-switch openvswitch-datapath-dkms 


Neutron 的 Open vSwitch plugin 的 源 代码 包含 在 Neutron 中 ， 参 照 控制 节点 安装 neutron-server 部 分 ， 建 立 相 应 的 


neutron-openvswitch-plugin 的 命令 如 下 : 


录 ， 把 Open vSwitch 的 plugin 复 制 出 来 ， 然 后 编辑 配置 文件 即 可 。 完 成 后 ， 运 行 


$ cd -/neutron 
$ tmux -c "python neutron-openvswitch-agent --config-file /etc/neutron/neutron. 
conf --config-file /etc/neutron/plugins/openvswitch/ovs neutron plugin.ini" 


2.2.3 ”网 络 节点 的 安装 


网 络 节 点 需要 安装 Neutron 和 openvswitch-plugins。 和 计算 节点 一 样 ， 也 需要 手动 安装 Open vSwtich 的 包 。 在 网 络 节点 中 ， 安 装 Neutron 和 openvswitch-plugins 的 方式 和 控制 节点 、 计 算 节 点 的 安 
装 类 似 ， 唯 一 的 区 别 是 需要 把 源 代 码 中 关于 dhcp-agent、13-agent 和 metadata-agent 的 配置 文件 复制 到 /etc/neutron 目 录 中 ， 其 余 的 这 里 不 再 重复 写 出 。 这 里 给 出 启动 三 个 服务 的 命令 : 


$ tmux -c "python neutron-dhcp-agent --config-file /etc/neutron/neutron.conf -- 
config-file /etc/neutron/dhcp agent.ini" 

$ tmux -c "python neutron-1l3-agent --config-file /etc/neutron/neutron.conf -- 
config-file /etc/neutron/13 plugin.ini" 

$ tmux -c "python neutron-metadata-agent --config-file /etc/neutron/neutron.conf -- 
config-file /etc/neutron/metadata plugin.ini" 


网 络 节点 需要 新 建 相关 目录 ， 代 码 如 下 : 


$ sudo mkdir /var/lib/neutron 
$ sudo chown openstack:openstack /var/lib/neutron 


224 块 存储 节点 的 安装 


块 存储 节点 运行 cinder-volume 服 务 ， 这 个 服务 同样 包含 在 Cinder 的 安装 中 ， 可 参照 在 控制 节点 中 安装 Cinder 服 务 的 那 一 部 分 。 启 动 cinder-volume 的 命令 如 下 : 


$ tmux -c "bin/cinder-volume --config-file-/etc/cinder/cinder.conf" 


最 后 ， 从 自身 的 学 习 经 验 来 看 ， 笔 者 建议 读者 先 从 二 进 制 包 安装 方式 开始 ， 因 为 Linux 发 行 版 本 厂商 已 经 帮 用 户 解决 了 很 多 依赖 包 的 关联 ， 并 且 建 立 好 了 相关 的 目录 和 目录 下 需要 用 的 配置 文件 ， 用 户 和 
目录 权限 无 须 配 置 。 用 户 或 者 管理 员 可 以 专注 于 各 个 组 件 的 配置 参数 ， 以 便 建立 起 一 个 正常 运行 的 OpenStack 云 环境 。 学 习 二 进 制 包 安装 后 ， 读 者 可 以 循序 阅读 后 面 如 何 使 用 OpenStack 的 章节 ， 对 
Openstack 整 个 框架 使 用 有 个 大 致 的 了 解 之 后 再 来 学 习 源 代 码 安装 。 笔 者 在 这 里 给 出 的 源 代 码 安装 步骤 相对 简单 ， 而 且 由 于 随 着 版 本 的 更 新 ， 可 能 会 不 适用 于 新 的 版 本 中 。 推 荐 读者 对 这 里 介绍 的 安装 过 程 
熟悉 之 后 ， 去 阅读 官方 的 devstack 的 脚本 ， 它 是 一 个 一 直 在 保持 更 新 的 脚本 ， 添 加 了 更 多 功能 的 支持 ， 璧 如 Nova 的 cell 服 务 、Neutron 的 其 他 plugin、Ceilometer、Heat 等 新 的 项 目 组 件 ; 同时 ， 该 脚本 也 
支持 在 CentOS 6.5 上 进行 源 代 码 安装 。 
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第 3 章 ”OpenStack 组 织 结构 一 览 


3.1 组 件 关系 


OpenStack 是 一 个 构建 云 环 境 的 工具 集 ， 所 有 的 OpenStack 组 件 都 可 以 单独 部 署 ， 而 组 件 中 的 模块 也 可 以 单独 部 署 。OpenStack 领 先 的 分 布 式 架构 ， 可 以 让 部 署 人 员 以 类 似 搭 积木 的 方式 ， 按 需求 选取 
所 需要 的 组 件 ， 灵 活 地 构建 云 环境 。 使 用 OpenStack 搭 建 的 云 环境 可 大 可 小 ， 大 至 成 干 上 万 台 的 服务 器 ， 小 至 一 台 ARM 手 机 都 可 以 用 OpenStack 来 构建 云 。 通 过 前 面 两 章 ， 读 者 了 解 了 OpenStack 的 基本 
内 容 ， 也 熟悉 了 Openstack 的 安装 、 使 用 ， 现 在 将 带领 读者 更 深入 地 学 习 OpenStack 组 件 架构 。 


Openstack 组 件 如 图 3-1 所 示 。 


- 所 有 OpenStack 组 件 都 是 用 Python 编写 的 。 
' 最 终 用 户 可 以 通过 Web 界 面 (Horizon) 、 命 令 行 来 使 用 组 件 服务 或 直接 调用 每 个 组 件 的 API。 


- 每 个 组 件 都 通过 同一 个 认证 源 (Keystone) o 


“ 通过 公共 的 REST API 来 实现 各 个 组 件 间 的 交互 。 
- 大 部 分 组 件 通过 Message Queue 来 实现 组 件 内 部 交互 (官方 推荐 使 用 RabbitMQ) o 
“ 所 有 组 件 都 用 DataBase 来 存放 数据 信息 (官方 推荐 使 用 MatiaDB ，MariaDB 为 MySQL 的 分 支 ) 。 


: OpenStack 的 守护 进程 大 多 由 WSGI 中 间 件 来 实现 (Paste) ，OpenStack 中 广泛 使 用 paste.ini 为 其 配置 文件 。 


[一 "me 
iota eT] | 
JENE 网 * | 1 aj 
络 连接 N 计算 服务 jai 


\ OY um. 


提供 认证 tet 


保存 磁 | 对 ; 


块 存 储 


服务 
E 


提供 认证 


图 3-1 OpenStack 组 件 图 


OpenStack 组 件 特点 : 
:分布 式 ，OpenStack 可 以 分 开 部 署 在 多 个 服务 器 上 ， 通 过 网 络 联通 ， 是 建立 在 网 络 之 上 的 软件 系统 。 正 是 因为 这 种 软件 的 特性 ， 所 以 分 布 式 系统 具有 高 度 的 内 聚 性 和 透明 性 。 
“ 无 状态 ， 当 前 的 请 求 不 依赖 于 之 前 请 求 状态 。 各 个 请 求 都 相对 独立 ， 可 扩展 性 强 。 
- RESTful (Representational State Transfer， 具 象 状态 传输 风格 ) ， 是 指 满足 REST 约 束 和 风格 的 程序 设计 。OpenStack 对 外 接口 都 是 RESTful 风 格 。 
“ RPC (Remote Procedure Call Protocol， 远 程 过 程 调 用 协议 ) ，OpenStack 内 部 通信 机 制 大 量 使 用 RPC，RPC 使 得 开发 包括 网 络 分 布 式 多 程序 在 内 的 应 用 程序 更 加 容易 。 


“ Plugin (插件 式 设计 ) ， 把 扩展 功能 从 框架 中 和 剥离 出 来 ， 降 低 了 框架 的 复杂 度 ， 让 框架 更 容易 实现 。 扩 展 功能 与 框架 以 一 种 很 松 的 方式 辜 合 ， 两 者 在 保持 接口 不 变 的 情况 下 ， 可 以 独立 变化 和 发 布 。 
3.1.1 ” Nova 组件 


Nova 组 件 是 最 早 的 OpenStack 组 件 之 一 ， 熟 悉 了 Nova 组 件 结构 ， 其 他 组 件 可 以 轻松 学 习 。 


Nova 架 构 非常 成 熟 ， 最 早 由 RackSpace 贡 献 ， 也 可 以 称 之 为 RackSpace 架 构 。nova-api 支 持 Openstack 原 生 API、AWS EC2 API, 或 者 特殊 的 管理 员 API (为 特权 用 户 执行 管理 操作 ) 。 它 可 强制 执行 
一 些 默认 的 配额 策略 ; 可 以 通过 Keystone 认 证 ， 认 证 处 理 优先 于 内 部 任务 处 理 ; 支持 多 种 后 端 Hypervisor 创 建 虚拟 机 ， 如 KVM、Xen、LXC、VMware、Hyper-V 等 。 


Grizzly 版 本 之 前 的 Nova 组 件 架构 如 图 3-2 所 示 。 
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图 3-2 原 有 Nova 组 件 架 构 


Grizzly 版 本 的 Nova 组 件 架构 如 图 3-3 所 示 。 
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图 3-3” 现 有 Nova 组 件 架 构 


在 Grizzly 版 本 Nova 组 件 架构 中 ，nova-compute 组 件 不 再 直接 与 database 交 互 ， 而 是 通过 nova-conductor 组 件 做 代理 ，nova-compute 所 有 数据 操作 均 通 过 消息 队列 交 由 nova-conductor 写 入 或 读 
取 数 据 库 。 由 于 nova-compute 组 件 是 分 布 式 部 署 的 ， 在 OpenStack 环 境 中， 每 一 台 做 虚拟 机 容器 的 物理 服务 器 都 需要 部 署 nova-compute。 如 果 nova-compute 都 能 访问 数据 库 ， 则 无 疑 加 大 了 数据 库 的 
访问 风险 。 数 据 库 可 访问 对 象 的 增加 ， 意 味 着 数据 安全 指数 降低 。 之 所 以 采用 代理 模式 来 访问 ， 是 为 了 避免 数据 库 被 非法 入 侵 ， 这 大 大 降低 了 数据 库 访问 风险 ; 并且， 所 有 的 数据 库 操作 通过 Message- 
Queue 都 可 以 持久 化 ， 不 必 担心 当 节点 死机 时 ， 访 问 数据 会 丢失 。 从 可 用 性 、 健 壮 性 、 安 全 性 各 个 方面 来 说 ，Grizzly 版 本 的 Nova 组 件 在 架构 上 无 疑 更 先进 。 


3.12 ”Swift 组 件 


Swift 组 件 架构 如 图 3-4 所 示 ， 其 特点 如 下 。 


“ 提供 文件 的 对 象 存储 及 服务 。 


: 采用 对 象 级 别 的 复制 ， 以 保障 数据 。 


“swift-proxy 的 横向 部 署 ， 可 以 保证 接收 的 API 请 求 分 布 式 地 维护 account DB 和 container DB。 


“ext4 或 XFS 文件 系统 作为 对 象 存储 的 文件 系统 。 
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图 3-4 Swift 组 件 架构 


3.1.3 ”Keystone 组 件 
Keystone 组 件 架构 如 图 3-5 所 示 ， 其 特点 如 下 。 
:Keystone 提 供 统一 的 、 完 整 的 OpenStack 身 份 验 证 、 服 务 目录 、 令 牌 、 访 问 策略 服务 。 
' Keystone 处 理 所 有 的 API 请 求 ， 提 供 可 配置 的 身份 验证 、 服 务 目 录 、 令 牌 、 访 问 策略 服务 。 
“ Keystone 标 准 的 后 端 包 括 SQL、LDAP、K&V 等 。 


“ 大 多 数 用 户 会 使 用 定制 化 的 Keystone 作 为 OpenStack 的 认证 服务 。 


3.14 GlancefBf/t 


Glance 组 件 架构 如 图 


Token 
Backend 


3-6 所 示 ， 其 特点 如 下 。 
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图 3-5  Keystone2B £F 2g 4 
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图 3-6 使 用 多 种 存储 后 端的 Glance 服 务 


- 数据 库 中 存放 镜像 文件 的 元 数据 。 
“ 存储 镜像 文件 的 实际 后 端 可 以 有 多 种 选择 ， 可 以 使 用 DpenStack 本 身 的 组 件 Swift、Cinder， 也 可 以 使 用 本 地 存储 ， 或 者 使 用 AWS 的 S3 等 。 
3.1.5 Neutron 组 件 


Neutron 组 件 架构 如 图 3-7 所 示 ， 其 特点 如 下 。 


- Neutron 由 Quantum 更 名 而 来 。 因 为 涉及 商标 侵权 ， 所 以 OpenStack 社 区 将 Quantum 更 名 为 Neutron。 
“ neutron-server 接 收 API 请 求 ， 然 后 将 请 求 路 由 到 各 个 agent 组 件 ， 执 行 具体 的 操作 。 


- agent 由 各 种 厂商 支持 ， 在 Neutron 中 的 agent 角 色 类 似 于 nova-compute、cinder-volume，Nova 面 对 不 同 的 Hypervisor，Cindet 面 对 不 同 存 储 ， 而 Neutron 面 对 各 种 不 同 的 网 络 设备 。 


: 通常 4gent 是 L3、L2、DHCP 和 一 些 特殊 持 件 式 agent。 


- agent 目 前 有 Cisco agent, Niciranvp agent, NEC agent, Open vSwitch agent, Linux bridging agent 等 。 
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图 3-7 Neutron 组 件 架 构 


3.1.6 ” Cinder 组件 


Cinder 组 件 架构 如 图 3-8 所 示 ， 其 特点 如 下 。 


* Cinder 就 是 nova-volume 需 求 的 扩展 ， 是 从 Nova 分 离 出 来 的 一 个 集中 式 的 块 存储 服务 。 
“ Cinder 组 件 架构 完全 是 镜像 式 地 复制 Nova 的 架构 ， 看 过 Nova 代 码 再 看 Cinder 代 码 会 有 似曾相识 的 感觉 。 
“cinder-api 负 责 接 收 和 分 发 API 的 请 求 信 息 。 


“cinder-volume 有 多 个 后 端 存储 可 以 支持 ， 存 储 厂商 以 编写 driver 的 方式 加 入 到 OpenStack 开 发 行列 ， 目 前 Cinder 的 存储 驱动 支持 IBM、SolidFire、NetApp、Nexenta、2Zadara 和 华为 等 商业 存储 。 


- cinder-scheduler 类 似 于 nova-scheduler， 决 定 在 哪个 存储 上 创建 cinder-volume 实 例 ， 但 目前 版 本 支持 的 调度 策略 很 少 ， 算 法 也 并 不 完善 。 


:Cinder 仍 需 完 善 ， 它 的 功能 也 可 以 用 nova-volume 代 替 。 从 Folsom 版 本 到 现在 ，Cinder 本 身 的 架构 进展 并 不 尽 如 人 意 ， 但 是 存储 厂商 的 积极 参与 给 了 Cinder 更 多 实际 的 意义 。 
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图 3-8 ” Cinder 组 件 架 构 


第 3 章 ”OpenStack 组 织 结构 一 览 


3.1 ”组 件 关系 


OpenStack 是 一 个 构建 云 环境 的 工具 集 ， 所 有 的 OpenStack 组 件 都 可 以 单独 部 署 ， 而 组 件 中 的 模块 也 可 以 单独 部 署 。OpenStack 领 先 的 分 布 式 架 构 ， 可 以 让 部 署 人 员 以 类 似 搭 积 木 的 方式 ， 按 需求 选取 
所 需要 的 组 件 ， 灵 活 地 构建 云 环境 。 使 用 OpenStack 搭 建 的 云 环境 可 大 可 小 ， 大 至 成 干 上 万 台 的 服务 器 ， 小 至 一 台 ARM 手 机 都 可 以 用 OpenStack 来 构建 云 。 通 过 前 面 两 章 , 读 者 了 解 了 OpenStack 的 基本 
内 容 ， 也 熟悉 了 OpenStack 的 安装 、 使 用 ， 现 在 将 带领 读者 更 深入 地 学 习 OpenStack 组 件 架构 。 


Openstack 组 件 如 图 3-1 所 示 。 


- 所 有 OpenStack 组 件 都 是 用 Python 编写 的 。 

:最终 用 户 可 以 通过 Web 界 面 (Horizon) 、 命 令 行 来 使 用 组 件 服务 或 直接 调用 每 个 组 件 的 API。 
- 每 个 组 件 都 通过 同一 个 认证 源 (Keystone) 。 

“ 通过 公共 的 REST API 来 实现 各 个 组 件 间 的 交互 。 

“ 大 部 分 组 件 通过 Message Queue 来 实现 组 件 内 部 交互 (官方 推荐 使 用 RabbitMQ) o 

“ 所 有 组 件 都 用 DataBase 来 存放 数据 信息 (官方 推荐 使 用 MariaDB，MariaDB 为 MySQL 的 分 支 ) 。 


: OpenStack 的 守护 进程 大 多 由 WSGI 中 间 件 来 实现 (Paste) ，OpenStack 中 广泛 使 用 paste.ini 为 其 配置 文件 。 


块 存 储 


服务 
E 


3-1. OpenStack 组 件 图 


OpenStack 组 件 特点 : 
“分布 式 ，OpenStack 可 以 分 开 部 署 在 多 个 服务 器 上 ， 通 过 网 络 联通 ， 是 建立 在 网 络 之 上 的 软件 系统 。 正 是 因为 这 种 软件 的 特性 ， 所 以 分 布 式 系统 具有 高 度 的 内 聚 性 和 透明 性 。 
“ 无 状态 ， 当 前 的 请 求 不 依赖 于 之 前 请 求 状态 。 各 个 请 求 都 相对 独立 ， 可 扩展 性 强 。 
- RESTful (Representational State Transfer， 具 象 状态 传输 风格 ) ， 是 指 满足 REST 约 束 和 风格 的 程序 设计 。OpenStack 对 外 接口 都 是 RESTful 风 格 。 
: RPC (Remote Procedure Call Protocol， 远 程 过 程 调 用 协议 ) ，OpenStack 内 部 通信 机 制 大量 使 用 RPC，RPC 使 得 开发 包括 网 络 分 布 式 多 程序 在 内 的 应 用 程序 更 加 容易 。 


“ Plugin (插件 式 设计 ) ， 把 扩展 功能 从 框架 中 剥离 出 来 ， 降 低 了 框架 的 复杂 度 ， 让 框架 更 容易 实现 。 扩 展 功能 与 框架 以 一 种 很 松 的 方式 耦合 ， 两 者 在 保持 接口 不 变 的 情况 下 ， 可 以 独立 变化 和 发 布 。 


3.1.1 Nova 组 件 


Nova 组 件 是 最 早 的 Openstack 组 件 之 一 ， 熟 悉 了 Nova 组 件 结构 ， 其 他 组 件 可 以 轻松 学 习 。 


Nova 架 构 非常 成 熟 ， 最 早 由 RackSpace 贡 献 ， 也 可 以 称 之 为 RackSpace 架 构 。nova-api 支 持 Openstack 原 生 API、AWS EC2 API,， 或 者 特殊 的 管理 员 API (为 特权 用 户 执行 管理 操作 ) 。 它 可 强制 执行 
一 些 默认 的 配额 策略 ; 可 以 通过 Keystone 认 证 ， 认 证 处 理 优先 于 内 部 任务 处 理 ; 支持 多 种 后 端 Hypervisor 创 建 虚拟 机 ， 如 KVM、Xen、LXC、VMware、Hyper-V 等 。 


Grizzly 版 本 之 前 的 Nova 组 件 架构 如 图 3-2 所 示 。 
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图 3-2 原 有 Nova 组 件 架 构 


Grizzly 版 本 的 Nova 组 件 架构 如 图 3-3 所 示 。 
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图 3-3” 现 有 Nova 组 件 架 构 


在 Grizzly 版 本 Nova 组 件 架构 中 ，nova-compute 组 件 不 再 直接 与 database 交 互 ， 而 是 通过 nova-conductor 组 件 做 代理 ，nova-compute 所 有 数据 操作 均 通 过 消息 队列 交 由 nova-conductor 写 入 或 读 
取 数 据 库 。 由 于 nova-compute 组 件 是 分 布 式 部 署 的 ， 在 OpenStack 环 境 中， 每 一 台 做 虚拟 机 容器 的 物理 服务 器 都 需要 部 署 nova-compute。 如 果 nova-compute 都 能 访问 数据 库 ， 则 无 疑 加 大 了 数据 库 的 
访问 风险 。 数 据 库 可 访问 对 象 的 增加 ， 意 味 着 数据 安全 指数 降低 。 之 所 以 采用 代理 模式 来 访问 ， 是 为 了 避免 数据 库 被 非法 入 侵 ， 这 大 大 降低 了 数据 库 访问 风险 ; 并且， 所 有 的 数据 库 操作 通过 Message- 
Queue 都 可 以 持久 化 ， 不 必 担心 当 节点 死机 时 ， 访 问 数据 会 丢失 。 从 可 用 性 、 健 壮 性 、 安 全 性 各 个 方面 来 说 ，Grizzly 版 本 的 Nova 组 件 在 架构 上 无 疑 更 先进 。 


3.12 ”Swift 组 件 


Swift 组 件 架构 如 图 3-4 所 示 ， 其 特点 如 下 。 


“ 提供 文件 的 对 象 存储 及 服务 。 


: 采用 对 象 级 别 的 复制 ， 以 保障 数据 。 


“swift-proxy 的 横向 部 署 ， 可 以 保证 接收 的 API 请 求 分 布 式 地 维护 account DB 和 container DB。 


“ext4 或 XFS 文件 系统 作为 对 象 存储 的 文件 系统 。 


swift- swift- 
account container 


account DB — object store 


图 3-4 Swift 组 件 架构 


3.1.3 ”Keystone 组 件 
Keystone 组 件 架构 如 图 3-5 所 示 ， 其 特点 如 下 。 
:Keystone 提 供 统一 的 、 完 整 的 OpenStack 身 份 验 证 、 服 务 目录 、 令 牌 、 访 问 策略 服务 。 
' Keystone 处 理 所 有 的 API 请 求 ， 提 供 可 配置 的 身份 验证 、 服 务 目 录 、 令 牌 、 访 问 策略 服务 。 
“ Keystone 标 准 的 后 端 包 括 SQL、LDAP、K&V 等 。 


“ 大 多 数 用 户 会 使 用 定制 化 的 Keystone 作 为 OpenStack 的 认证 服务 。 


3.14 GlancefBf/t 


Glance 组 件 架构 如 图 


Token 
Backend 


3-6 所 示 ， 其 特点 如 下 。 
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图 3-5  Keystone2B £F 2g 4 
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图 3-6 使 用 多 种 存储 后 端的 Glance 服 务 


- 数据 库 中 存放 镜像 文件 的 元 数据 。 
“ 存储 镜像 文件 的 实际 后 端 可 以 有 多 种 选择 ， 可 以 使 用 DpenStack 本 身 的 组 件 Swift、Cinder， 也 可 以 使 用 本 地 存储 ， 或 者 使 用 AWS 的 S3 等 。 
3.1.5 Neutron 组 件 


Neutron 组 件 架构 如 图 3-7 所 示 ， 其 特点 如 下 。 


- Neutron 由 Quantum 更 名 而 来 。 因 为 涉及 商标 侵权 ， 所 以 OpenStack 社 区 将 Quantum 更 名 为 Neutron。 
“ neutron-server 接 收 API 请 求 ， 然 后 将 请 求 路 由 到 各 个 agent 组 件 ， 执 行 具体 的 操作 。 


- agent 由 各 种 厂商 支持 ， 在 Neutron 中 的 agent 角 色 类 似 于 nova-compute、cinder-volume，Nova 面 对 不 同 的 Hypervisor，Cindet 面 对 不 同 存 储 ， 而 Neutron 面 对 各 种 不 同 的 网 络 设备 。 


: 通常 4gent 是 L3、L2、DHCP 和 一 些 特殊 持 件 式 agent。 


- agent 目 前 有 Cisco agent, Niciranvp agent, NEC agent, Open vSwitch agent, Linux bridging agent 等 。 
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图 3-7 Neutron 组 件 架 构 


3.1.6 ” Cinder 组件 


Cinder 组 件 架构 如 图 3-8 所 示 ， 其 特点 如 下 。 


* Cinder 就 是 nova-volume 需 求 的 扩展 ， 是 从 Nova 分 离 出 来 的 一 个 集中 式 的 块 存储 服务 。 
“ Cinder 组 件 架构 完全 是 镜像 式 地 复制 Nova 的 架构 ， 看 过 Nova 代 码 再 看 Cinder 代 码 会 有 似曾相识 的 感觉 。 
“cinder-api 负 责 接 收 和 分 发 API 的 请 求 信 息 。 


“cinder-volume 有 多 个 后 端 存储 可 以 支持 ， 存 储 厂商 以 编写 driver 的 方式 加 入 到 OpenStack 开 发 行列 ， 目 前 Cinder 的 存储 驱动 支持 IBM、SolidFire、NetApp、Nexenta、2Zadara 和 华为 等 商业 存储 。 


- cinder-scheduler 类 似 于 nova-scheduler， 决 定 在 哪个 存储 上 创建 cinder-volume 实 例 ， 但 目前 版 本 支持 的 调度 策略 很 少 ， 算 法 也 并 不 完善 。 


:Cinder 仍 需 完 善 ， 它 的 功能 也 可 以 用 nova-volume 代 替 。 从 Folsom 版 本 到 现在 ，Cinder 本 身 的 架构 进展 并 不 尽 如 人 意 ， 但 是 存储 厂商 的 积极 参与 给 了 Cinder 更 多 实际 的 意义 。 
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图 3-8 ” Cinder 组 件 架 构 


3.2 ”OpenStack 目 录 组 织 结构 


3.2.1 ”Nova 目 录 结 构 


下 面 来 了 解 一 下 Nova 的 目录 结构 : 
< bin: Nova 服 务 执行 文件 。 

“ contrib: 第 三 方 贡 献 包 。 

| doc: 技术 文档 。 

- etc: Nova 配 置 文件 样 例 。 

: nova: Nova 代 码 目 录 。 

“ plugins: Nova 插 件 。 

“ smoketests: 冒 烟 测试 代码 。 

- tools: 工具 。 

* babel.cfg: Flask-Babel 配 置 。 

© CONTRIBUTING. tst: 贡献 指南 。 
© HACKING.rst: Hack 指 南 。 

* LICENSE: Apache2 LICENSE。 
© MANIFEST.in: 打包 规则 。 


“ openstack-common.conf: OSLO 配 置 。 


“ pylintrc:: Pylint 代 码 分 析 配 置 。 
: README.rst: Nova 简 介 。 
.trun_tests.sh: 测试 案例 。 

“ setup.cfg: setup.py 配 置 。 

“ setup.py: Nova 安 装 脚本 。 


“tox.ini; Python 的 标准 化 测试 。 


3.2.2 ”Swift 目录 结构 


下 面 是 Swift 的 目录 结构 : 


“ bin: Swift 服务 执行 文件 。 
«doc: 技术 文档 。 

“etc: Swift 配置 文件 样 例 。 

* locale: Swift 国际 化 模板 。 
swift: Swift 代码 目录 。 

test: Swift 测试 。 

' tools: 工具 。 

- AUTHORS: 作者 。 

* babel.cfg: Flask-Babel 配 置 。 

- CHANGELOG: 更 新 日 志 。 

- CONTRIBUTING.md: 贡献 指南 。 
* LICENSE: Apache2 LICENSE 
* MANIFEST.in: 打包 规则 。 

- README.md: Swift 简介 。 

“ setup.cfg: setup.py 配 置 。 

< setup.py: Swift 安装 脚本 。 


“ toxini: Python 的 标准 化 测试 。 


3.2.3 ”Keystone 目 录 结 构 


下 面 是 Keystone 的 目录 结构 : 

“ bin: Keystone 服 务 执行 文件 。 
“doc: 技术 文档 。 

etc: Keystone 配 置 文件 样 例 。 

- examples: Keystone 使 用 样 例 。 

- httpd: Keystone 使 用 Apache 配 置 。 
“ keystone; Keystone 代 码 目录 。 
“tests: Keystone 测 试 。 

* tools: 工具 。 

* babel.cfg: Flask-Babel 配 置 。 

< HACKING.rst: Hack 指 南 。 

* LICENSE: Apache2 LICENSE. 

* MANIFEST.in: 打包 规则 。 

* openstack-common.conf: OSLO 配 置 。 
:README.rst: Keystone 简 介 。 
.tun_tests.sh: 测试 案例 。 


“setup.cfg: setup.py 配 置 。 


“ setup.py: Keystone 安 装 脚本 。 
: TODO: 代办 列表 。 


“ toxini: Python 的 标准 化 测试 。 


3.224 GlanceB3x £4 


下 面 是 Glance 的 目录 结构 : 


* bin: Glance 服 务 执行 文件 。 
«doc: 技术 文档 。 

' etc: Glance 配 置 文件 样 例 。 
glance: Glance 代 码 目录 。 

' tools: 工具 。 

* babel.cfg: Flask-Babel 配 置 。 

< HACKING.rst: Hack 指 南 。 

* LICENSE: Apache2 LICENSE., 
©- MANIFEST.in: 打包 规则 。 

* openstack-common.conf: OSLO 配 置 。 
: pylintrc: Pylint 代 码 分 析 配 置 。 

: README.rst: Glance 简 介 。 

run tests.sh: 测试 案例 。 

“ setup.cfg: setup.py 配 置 。 

“ setup.py: Glance 安 装 脚本 。 


“ tox.ini: Python 的 标准 化 测试 。 


3.2.55 ”Neutron 目 录 结 构 


下 面 是 Neutron 的 目录 结构 : 

* bin: Neutron 服 务 执行 文件 。 
“contrib: 第 三 方 贡献 包 。 

«doc: 技术 文档 。 

' etc: Neutron 配 置 文件 样 例 。 

- quantum: Neutron 代 码 目 录 。 
“tools: 工具 。 

* babel.cfg: Flask-Babel 配 置 。 

< HACKING.rst: Hack 指 南 。 

* LICENSE: Apache2 LICENSE., 
©- MANIFEST.in: 打包 规则 。 

* openstack-common.conf: OSLO 配 置 。 
- README: Neutron 简 介 。 
“run_tests.py: 测试 案例 。 

- run_tests.sh: 测试 案例 。 

“ setup.cfg: setup.py 配 置 。 
“setup.py: Neutron 安 装 脚本 。 

- TESTING: 测试 方法 简介 。 


' tox.ini: Python 的 标准 化 测试 。 


3.2.6 ”Cinder 目 录 结构 


下 面 是 Cinder 的 目录 结构 : 

* bin: Cinder 服 务 执行 文件 。 

* cinder: Cinder 代 码 目 录 。 

“ contrib: 第 三 方 贡 献 包 。 

«doc: 技术 文档 。 

"etc: Cinder 配 置 文件 样 例 。 

“ tools: 工具 。 

* babel.cfg: Flask-Babel 配 置 。 

: CONTRIBUTING.md: 贡献 指南 。 
© HACKING.rst: Hack 指 南 。 

* LICENSE: Apache2 LICENSE. 

© MANIFEST.in: 打包 规则 。 

* openstack-common.conf: OSLO 配 置 。 
< pylintrc:: Pylint 代 码 分 析 配 置 。 

: README.rst: Cinder 简 介 。 

- run_tests.sh: 测试 案例 。 
“setup.cfg: setup.py 配 置 。 

< setup.py: Cinder 安 装 脚本 。 


“tox.ini; Python 的 标准 化 测试 。 


3.3 Openstack 配 置 文件 


本 节 列 出 了 各 个 Openstack 组 件 对 应 的 配置 文件 和 日 志文 件 的 位 置 并 对 各 个 文件 进行 了 说 明 。 具 体 的 配置 信息 将 会 在 后 续 章节 中 详细 介绍 。 


3.3.4. Nova 配置 文件 及 日 志 


Nova 的 配置 文件 默认 存放 在 /etc/nova， 各 文件 描述 如 图 3-9 所 示 。 


api-paste.ini Paste 服 务 的 配置 文件 
nova.conf Nova 服 务 的 配置 文件 


policyjson API 的 访问 策略 ， 可 以 通过 在 不 停止 Nova 服 务 的 情况 下 
的 动态 调整 来 限制 访问 内 容 


rootwrap.conf Nova 服 务 需 要 使 用 的 Shell 权 限 配 置 


图 3-9 Nova 的 配置 文件 


Nova 的 日 志文 件 默认 存放 在 /var/log/nova， 各 文件 描述 如 图 3-10 所 示 。 


api.log 
cert.log 


compute.log 


conductor.log 


console.log 


consoleauth.log 


network.log 


nova-manage.log 


scheduler.log 


3.32 ”Swift 配置 文件 及 日 志 


Swift 的 配置 文件 默认 存放 在 /etc/swift， 各 文件 描述 如 图 


account-server.conf 


container-server.conf 
object-server.conf 


proxy-server.conf 


Swift 的 


志文 件 默认 存放 在 /var/log/swift， 文 件 描述 如 


nova-api 服 务 的 日 志 ,主要 存放 RESTful、CLI 等 信息 


nova-cert 服 务 的 日 志 ， 主要 存放 EC2 API 访 问 的 X509 
等 认证 信息 


nova-compute 服 务 的 日 志 ， 主要 存放 管理 虚拟 机 生命 
周期 的 信息 


nova-conductor 服 务 的 日 志 ， 主要 存放 数据 库 操作 等 
信息 


nova-console 服 务 的 日 志 ,主要 存放 console 等 信息 
nova-consoleauth 服 务 的 日 志 ， 主 要 记录 console 认 
证 等 信息 


nova-network 服 务 的 日 志 ， 主要 存放 Nova 网 络 分 配 等 
信息 ， 如果 使 用 Neutron 代 蔡 nova-network， 则 可 以 
不 部 置 nova-network 


nova-manage 服 务 的 日 志 ， 主 要 存放 CH 执行 nova- 
manage 的 信息 


nova-scheduler 服 务 的 日 志 ,主要 存放 调度 信息 


3-10 ”Nova 的 日 志文 件 


3-11 所 示 。 


account-server 服 务 的 配置 文件 
container-server 服 务 配置 文件 
object-server 服 务 配 置 文 件 
proxy-server 服 务 配 置 文件 


图 3-11 Swift 的 配置 文件 


图 3-12 所 示 。 


swift-startup.log 


3.3.3 ”Keystone 配 置 文件 及 日 志 


swift-proxy 服 务 的 日 志 


图 3-12 ”Swift 的 日 志文 件 


Keystone 的 配置 文件 默认 存放 在 /etc/keystone， 文 件 描述 如 图 3-13 所 示 。 


Keystone 的 日 志文 件 默认 存放 在 /var/log/keystone， 文 件 描述 如 图 3-14 所 示 。 


keystone.conf 


图 3-13 ”Keystone 的 配置 文件 


Keystone 服 务 的 日 志 ， 主 要 存放 所 有 的 Keystone 认 证 、 
授权 等 信息 


图 3-14 Keystone 的 日 志文 件 


3.34 ”Glance 配 置 文件 及 日 志 


Glance 的 配置 文件 默认 存放 在 /etc/glance， 各 文件 描述 如 图 3-15 所 示 。 


glance-api.conf glance-api 服 务 的 配置 文件 
glance-api-paste.ini glance-api 的 paste 服 务 配 置 文件 
glance-registry.conf glance-registry 的 配置 文件 
glance-registry-paste.ini glance-registry 的 paste 服 务 配置 文件 
glance-scrubber.conf glance-scrubber 配 置 文件 


图 3-15 ”Glance 的 配置 文件 


api.log glance-api 服 务 的 日 志 ， 主 要 存放 RESTful.CLI 等 信息 
registry.log glance-registry 服 务 的 日 志 


Glance 的 日 志文 件 默认 存放 在 /var/log/glance， 各 文件 描述 如 图 3-16 所 示 。 


图 3-16 ”Glance 的 日 志文 件 


3.3.5 ”Neutron 配 置 文 件 及 日 志 


Neutron 的 配置 文件 默认 存放 在 /etc/neutron， 各 文件 描述 如 图 3-17 所 示 。 


Neutron 的 日 志文 件 默认 存放 在 /var/log/neutron， 各 文件 描述 如 图 3-18 所 示 。 


api-paste.ini API 服 务 的 配置 文件 
dhcp_agent.ini dhcp-agent 服 务 配置 文件 
I3 agent.ini 上 B3_agent 服 务 配置 文件 
lbaas agent.ini LBaaS 服 务 配 置 文 件 


metadata agent.ini metadata_agent 服 务 配 置 文件 


policyjson API 的 访问 策略 ， 可 以 通过 在 不 停止 Nova 服 务 的 情况 下 
的 动态 调整 来 限制 访问 内 容 


neutron.conf Neutron 服 务 配 置 文件 
rootwrap.conf Neutron 服 务 需要 使 用 的 Shell 权 限 配置 


图 3-17 ”Neutton 的 配置 文件 


dhcp-agent.log 
I3-agent.log 


Ibaas-agent.log 


linuxbridge-agent.log 
metadata-agent.log 
openvswitch-agent.log 


server.log 


3.3.6 ”Cinder 配 置 文件 及 日 志 


Cinder 的 配置 文件 默认 存放 在 /etc/cinder， 各 文件 描述 如 图 3-19 所 示 。 


Cinder 的 日 志文 件 默认 存放 在 /var/log/cinder， 各 文件 描述 如 图 3-20 所 示 。 


api-paste.ini 
cinder.conf 
policyjson 


rootwrap.conf 


api.log 
cinder-manage.log 


scheduler.log 


volume.log 
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Neutron-dhcp-agent 服 务 的 日 志 
Neutron-l3-agent 服 务 的 日 志 
Neutron-lbass-agent 服 务 的 日 志 (LBaaS) 
Neutron-linuxbridge-agent 服 务 的 日 志 


Neutron-metadata-agent 服 务 的 日 志 
Neutron-openvswitch-agent 服 务 的 日 志 


Neutron-server 服 务 的 日 志 


[3-18 ” Neutron 的 日 志文 件 


Paste 服 务 的 配置 文件 

Cinder 服 务 的 配置 文件 

API 的 访问 策略 ， 可 以 通过 在 不 停止 Nova 服 务 的 情况 下 
的 动态 油 整 来 限制 访问 内 容 


Nova 服 务 需要 使 用 的 Shell 权 限 配置 


图 3-19 Cinder 的 配置 文件 


cinder-api 服 务 的 日 志 ， 主 要 存放 RESTful. CLI 等 信息 


cinder-manage 服 务 的 日 志 ， 主 要 存放 CU 执行 
cinder-manage 的 信息 


cinder-scheduler 服 务 的 日 志 ， 主要 存放 调度 信息 


cinder-volume 服 务 的 日 志 ， 主要 存放 了 管理 volume 
生命 周期 时 所 记录 的 信息 


图 3-20 ”Cinder 的 日 志文 件 


本 章 带 领 读 者 学 习 了 各 个 组 件 的 关系 ， 从 整体 上 把 握 各 个 组 件 的 结构 、 配 置 文件 、 日 志文 件 等 。 由 于 Openstack 是 分 布 式 架构 ， 基 本 上 所 有 的 通信 都 是 基于 AMQP 的 ， 数 据 库 使 用 MySQL， 所 以 了 解 


AMQP 组 件 及 MySQL 的 相关 知识 是 非常 重要 的 。 


如 果 只 是 想 要 部 署 OpenStack， 那 么 正确 理解 每 个 组 件 的 关系 是 非常 重要 的 。 而 对 于 那些 想 要 加 入 OpenStack 开 源 建 设 ,为 OpenStack “添砖加瓦 ”的 开发 人 员 来 说 ， 更 需要 详细 了 解 各 个 组 件 之 间 的 
关联 关系 。OpenStack 开 发 简单 来 说 就 是 Python 开 发 ， 但 是 需要 丰富 的 背景 知识 做 支撑 ， 硬 件 、 软 件 都 需要 有 相应 的 了 解 。 云 计算 是 IT 技 术 发 展 到 一 定 阶段 的 必然 产物 ，IT 领 域 各 种 技术 融合 、 碰 撞 ， 出 现 
了 新 的 技术 革新 与 新 的 展现 形式 。 其 实 云 计算 在 技术 上 并 没有 任何 特别 的 地 方 ， 只 是 传统 技术 的 再 次 整合 ， 但 云 计算 改变 了 传统 的 |T 思 维 ， 将 一 切 虚 拟 化 、 自 动 化 、 弹 性 化 ， 最 终 达到 服务 化 的 目的 ， 按 需 


取 用 ， 自 助 服务 。“ 云 化 ”看 似 很 神秘 ， 其 实 深入 理解 了 云 计 算 就 会 发 现 ， 这 是 IT 技术 发 展 过 程 顺 理 成 章 的 事情 。 


第 4 章 OpenStack API 的 介绍 和 开发 


41 简 述 Nova APl 体 系 


在 整个 OpenStack 框 架 中 ，Nova API 服 务 处 于 核心 地 位 ， 所 有 Nova 的 命令 均 是 通过 该 API 接 口 来 控制 管理 计算 服务 的 。API 接 口 都 是 标准 HTTP Web Service， 包 括 全 部 的 Nova 调 用 ， 以 及 对 API 本 身 


的 认证 和 授权 。 该 Web service 默 认 使 


整个 API 的 框架 结构 是 以 WSGI 标 准 为 入 


4.1.1 WSGlI 架 构 


WSG| 是 一 个 接口 标准 ， 即 “服务 器 网 关 接 口 ” 
(Application) 可 以 在 任何 实现 (Server) 上 运行 ， 


8774 端 口 。 可 以 用 一 个 Web 框 架 的 思路 去 理解 Nova API 的 框架 。 


， 加 上 Routes、Webob 和 Paste 等 Python 组 件 构成 的 。 


(Web Server Gateway Interface, WSGI) ， 是 Python 应 用 
反之 亦 然 。 指 定 服务 端 和 应 用 端的 接口 ， 按 照 WSGI 标 准 编写 的 应 


程序 或 框架 和 Web 服 务 器 之 间 的 一 种 接 
可 以 运行 在 任何 符合 该 标准 的 服务 器 上 。 


协议 。 只 要 遵照 这 些 协 议 ，WSG| 应 用 


一 般 WSGI 里 面 有 application、server、client 这 三 个 角色 ， 它 们 之 间 的 关系 是 client 发 送 请 求 给 server，server 转 发 这 个 请 求 给 application， 然 后 application 进 行 一 系列 操作 之 后 ， 将 响应 发 送 给 


server，server 再 将 响应 转发 给 client，server 起 一 个 转发 的 作用 。 


& b 


当 


M 
di 


网 


4-1 是 官网 上 一 个 简单 的 例子 。 


#! /usr/bin/env python 


i Our tutorial's WSGI server 


from wsgiref.simple server import make server 


def application(environ, start response): 
“9% 这 个 就 是 application, 详 现 了 接收 这 两 个 参数 的 接口 , 并 且 在 下 面 调 用 了 start_response( )” 
# Sorting and stringifying the environment key, value pairs 
response body = ['Xs: %s' % (key, value) 


for key, value in sorted(environ.items())] 
response body = 'Xn'.join(response body) 


status = '200 OK' 
response headers = [('Content-Type', 'text/plain'), 

('Content-Length', str(len(response body)))] 
start response(status, response headers) 


return [response body] 


# Instantiate the WSGI server. 
# It will receive the request, pass it to the application 


# and send the application's response to the client 
# 这 个 是 server, 在 它 内 部 定义 了 start_response() 方 法 和 environ 变 有 量 , 并 且 调 用 application 
httpd = make server( 
'localhost', # The host name. 
8051, # A port number where to wait for the request. 


start_response() 方 法 ， 而 且 这 个 调 


application it Our application object name, in this case a function. 


) 


# Wait for a single request, serve it and quit. 
httpd.handle request() 


因为 WSGI 同 时 指定 了 服务 端 接 


和 应 有 


端 (也 可 以 理解 为 客户 端 ) 接 


接口 。 处 于 WSGI 组 件 栈 上 层 的 组 件 负责 为 人 


， 所 以 不 难 理解 ，WSGI 应 


了 接 下 层 的 组 件 提供 服务 。 简 单 来 说 ， 一 个 WSGI 服 务 器 的 作 | 


4-1 示例 代码 


首先 是 在 server 中 定义 了 一 个 方法 start_response (status, response_headers, exc_info=None) 返回 值 是 一 个 write() 函 数 ， 也 就 是 必须 在 执行 过 start_response() 函 数 之 后 ， 才 能 执行 write() 方 法 。 
还 定义 了 environ 变 量 ， 即 环境 变量 ， 里 面 存放 的 是 server 接 收 到 的 client 端 的 环境 变量 。WSGI 规 定 了 server 要 将 start_response 和 environ 发 送 给 application。 然 后 application 就 要 有 接收 这 两 个 参数 

“接口 ”， 这 个 “接口 ”可 以 以 各 种 方式 实现 ， 如 方法 、 函 数 、 类 等 都 可 以 。 接 收 到 之 后 ， 在 application 端 调 
接收 这 两 个 参数 的 “接口 ”， 并 且 执 行 start_response()。server 在 接收 到 application 的 响应 之 后 ， 就 开始 使 用 
那么 就 报 出 “AssertionError ("write()before start responseQ") ”这 样 的 异常 。 如 果 执 行 了 start_response0， 那 么 write() 则 正常 执行 。 


一 定 要 在 return 之 前 。WSGI 规 定 了 application 要 实 
write() 方 法 将 数据 传 给 client， 它 首先 会 判断 start_response() 方 法 是 否 执行 ， 如 果 没 有 执 


程序 是 可 以 堆 亚 的。 当然 ， 处 于 WSGI 组 件 栈 中 间 的 中 间 件 组 件 必须 同时 实现 服务 端 接口 和 应 用 端 


就 是 负责 接收 客户 端 发 送 来 的 请 求 ， 并 逐 


层 向 下 传递 ， 把 每 一 层 组 件 处 理 的 结果 返 


回 


， 其 原理 类 似 


于 程序 调用 栈 ， 只 不 过 粒度 更 粗 。 


介绍 完了 WSGI 接 口 ， 再 来 看 看 几 个 主要 的 Python 组 件 : Webob、Paste 和 Routes。 


Webob 是 在 Python 上 的 WSGI 容 器 ， 它 将 WSGI 请 求 消息 包装 成 Python 对 象 ， 辅 助 开发 者 创建 WSGI 回 复 消息 。 它 可 以 方便 地 操作 HTTP 请 求 ， 包 括 HTTP Header 处 理 、HTTP 内 容 解析 、HTTP 协 议 对 
话 。 


Paste 是 一 个 方便 WSGI 服 务 配 置 和 部 署 的 组 件 ， 通 过 loadapp 函 数 和 一 个 配置 文件 或 egg 包 来 载 入 WSG| 应 用 (在 OpenStack 中 通常 是 api-paste.ini 文 件 ) 。 对 于 WSGI 服 务 端 ， 它 仅 需 要 一 个 单一 入 I[ 
点 ， 而 不 必 对 WSGI 客 户 端 暴露 具体 的 实现 细节 。 


Paste 配 置 内 容 一 般 分 为 以 下 几 部 分 。 


* [app:main]: 定义 WSGI 应 用 ，main 表 示 只 有 一 个 应 用 。 如 果 有 多 个 应 用 ， 则 main 改 为 应 用 名 字 。WSGI 应 用 是 一 个 callable object， 接 收 参数 (environ, start response) ， 这 是 paste 系 统 交 给 application 的 ， 
符合 WSGI 规 范 的 参数 。app 需 要 完成 的 任务 是 响应 envrion 中 的 请 求 ， 准 备 好 响应 头 和 消息 体 ， 然 后 交 给 start_response 处 理 ， 并 返回 响应 消息 体 。 


* [server:main]: 定义 WSGI 的 一 个 server。 
“ [composite:xxx]: 表示 需要 将 一 个 请 求 调度 定向 (dispatched) 到 多 个 (或 者 多 种 ) 应 用 上 。 在 OpenStack 中 一 般 通 过 urlmap 来 实现 载 入 多 应 用 。 
“ [flter:]: 定义 “过 滤器 ”， 将 应 用 进行 进一步 封装 。 


“ [pipeline]: 定义 处 理 通道 。 通 过 pipeline 装 载 多 个 flter，OpenStack 将 最 基本 的 APIRouter 基 类 ， 层 层 包 装 ， 使 其 变 为 一 个 具有 处 理 认证 等 扩展 功能 的 应 用 。 


- [DEFAULT]: 定义 一 些 默认 变量 的 值 。 


Routes 则 是 一 个 简单 的 URL 路 由 组 件 ， 可 以 理解 为 Ruby On Rails 的 一 个 Python 实现 。 它 可 按照 规定 的 URL 模 式 将 HTTP 请 求 映射 到 各 个 Action ， 或 者 反 向 生成 指定 的 URL。 通 过 Routes 可 以 轻松 地 创建 
简洁 的 RESTful Web Service, 


如 图 4-2 所 示 ， 在 每 个 Nova API 的 工作 线程 中 ， 都 有 一 个 nova.wsgi.Server 作 为 嵌入 式 的 WSGI 服 务 器 。 它 将 每 个 WSGI 服 务 包 装 成 一 个 Eventlet ( 见 4.2 节 ) ， 运 行 在 一 个 可 管控 的 线程 池 里 ， 并 分 配 单 
独 Socket 以 便 定制 化 配置 (端口 号 、 队 列 长 度 ) 。 


与 典型 的 堆 亚 式 WSGI 组 件 结构 不 同 ， 通 过 引入 nova.api.openstack.compute.APIRouter，Openstack 人 允许 多 个 WSGI 客 户 端 同时 接 驳 到 同一 个 WSGI 服 务 端 。 因 此 不 难 理解 为 什么 每 个 核心 APl 和 扩展 
资源 都 是 一 个 独立 WSGI 应 用 。 


nova.wsgi.Router 是 nova.api.openstack.compute.APIRouter 的 父 类 。 它 内 部 使 用 了 routes.middleware.RoutesMiddleware 将 请 求 路 


由 到 每 个 WSGI 应 用 中 。 


nova.api.openstack.wsgi.Resource (也 是 nova.Application 的 实现 ) 为 Webob 包 装 的 WSGI 应 用 ， 定 义 了 一 个 单一 入 口 点 ， 并 负责 处 理 所 有 WSGI 请 求 。 所 有 的 核心 API 和 扩展 API 其 实 就 是 


nova.api.openstack.wsgi.Resource 的 Controller (控制 器 ) 。 


WSGI Server API Worker 


WSGI Router 


RoutesMiddlew are 


Extension API 
Server API Flavor API Aggregate API Other API Applicantions 


图 4-2 Nova API 工 作 线程 


4.1.2. API 响 应 流程 


系统 收 到 的 HTTP Web Service 形 式 的 API 请 求 会 首先 到 达 nova.api.openstack.APIRouter 实 例 ， 然 后 转交 到 内 部 类 routes.middleware.RoutesMiddleware 的 实例 。 在 这 里 ， 它 会 根据 初始 化 阶段 载 入 
的 URL 映 射 规则 将 请 求 路 由 到 WSGI resource， 如 图 4-3 所 示 。 在 RESTful 网 络 架构 的 术语 中 ， 一 个 resource 代 表 URL 所 定位 的 一 个 资源 ， 这 里 是 指 URL 中 指定 的 核心 API 或 扩展 APl。 


WSGI 服 务 器 [— TE: 
Z. WSgITH > 


iue; Nd 


3. EIE I FUSE y iS 


APIRouter 


RoutesMiddlew are 


4. 转发 请 求 


eT S 将 请 求 多 路 转发 到 各 个 处 理 方法 | ENE 
E» "T 


index 控制 如 ds 
EM index delete 
delete 


show create 


creato delete 
create 


图 4-3 ”API 响应 流程 


该 WsGI resource 的 实现 类 收 到 请 求 后 ，nova.api.openstack.wsgi.Resource 会 根据 通过 URL 识 别 出 的 操作 类 型 ， 并 将 请 求 分 发 给 具体 的 方法 (index、create、delete 或 其 他 自 定 义 方 法 ) 来 执行 。 


4.1.3 扩展 API 的 加 载 


ExtensionManager 基 于 osapi_ compute_extension 的 配置 信息 加 载 标准 扩展 或 特定 的 扩展 ， 代 码 如 下 。 


(/nova/api/openstack/extensions.py 


class ExtensionManager: 
def load extension 
(self 
) 

extensions - list 
(self.cls list 
) 


for ext factory in extensions: 
self.load extension 
(ext factory 
J 


整个 加 载 过 程 开始 于 contrib 包 的 初始 化 阶段 (无 论 是 标准 扩展 还 是 特定 扩展 ) 。 系 统 会 从 预定 的 位 置 (对 于 Compute 和 Volume 的 AP1， 则 是 contrib 包 所 在 的 目录 ) 加 载 所 有 符合 特定 命名 规范 的 扩 
模块 〈 即 模块 里 的 类 名 与 模块 名 相同 ， 且 首 字母 大 写 ) 。 而 对 于 特定 扩展 的 加 载 ， 则 在 Nova 的 配置 文件 里 指定 。 


具体 的 加 载 过 程 分 为 两 个 阶段 : 扩展 模块 的 加 载 和 配置 扩展 APl， 如 图 4-4 所 示 。 读 者 可 以 对 照 具体 代码 来 了 解 ， 这 里 不 再 歼 述 。 


APIRouter 


L8) LESER B D ES PE 


importutils.import class 


4. 导 入 扩展 模块 


5. 设 置 扩展 路 由 


6. 获 取 扩 展 资源 


4-4 扩展 API 的 加 载 


4.14 Nova API 列 表 


这 里 列 出 了 部 分 常用 的 Nova 的 API。v1.1 版 本 的 Nova API 是 早期 版 本 沿用 下 来 的 AP1， 而 v2 版 本 的 Nova APl 多 为 最 近 OpenStack 版 本 新 加 入 的 。 


在 Linux 命 令 行 下 可 以 使 用 curl 来 测试 AP1， 使 用 方法 为 : 


$ curl 
-X GET -i-H "X-Auth-Token: { 
ZES) "http: // (1p) / (APT) 


例如 : 


$ curl 
-X GET -i N 

-H "X-Auth-Token:fc81aaa6-98al-9ab0-94ba-aba9a89aa9ae" \ 
https://127.0.0.1/v2/d2b087d1c6e0413c881933baldb31d69/servers/1234567/suspend 


完整 的 API 列 表 以 及 参数 定义 可 以 参见 : http://api.openstack.org/api-ref-compute-ext.html。 


1. 虚 拟 机 管理 


该 组 API 的 URL 请 求 格式 均 为 “v2/{tenant_id}/servers/{server_id}/action”， 方法 均 为 POST，Nova 通 过 JSON 的 请 求 body 来 区 分 具体 执行 什么 操作 ， 见 表 4-1。 


表 4-1 虚拟 机 管理 API 


API 说 明 HTTP 方法 
暂停 虚拟 机 ， 将 状态 置 为 PAUSED POST 
将 暂停 的 虚拟 机 恢复 ， 并 将 状态 置 为 — 
ACTIVE 

生起 虚拟 机 ， 并 将 虚拟 机 状态 置 关 

挂 起 虚拟 机 ， 并 将 虚拟 机 状 EL JJ Soat 
SUSPENDED 

将 挂 起 虚拟 机 激活 ， 并 将 虚拟 机 状态 置 关 

尾 挂 起 虚拟 机 激活 并 将 EAL 置 为 POST 
ACTIVE 


将 虚拟 机 迁移 到 另 一 台 物 理 服务 器 ， 可 以 
由 调度 器 选择 物理 服务 器 ， 也 可 以 手动 指定 
将 虚拟 机 相关 的 网 络 设备 信息 重 置 ， 通 党 
用 于 故障 情况 

将 指定 网 络 信息 注入 虚拟 机 

将 虚拟 机 锁定 ， 不 让 人 修改 和 使 用 
解锁 锁定 的 虚拟 机 ， 恢 复 使 用 


POST 


POST 
POST 
POST 


备份 虚拟 机 POST 
在 不 重启 或 关闭 的 情况 下 ， 将 虚拟 机 动态 


bs 5 SE POST 
EBIHARA de 


将 虚拟 机 状态 设置 成 指定 状态 ， 常 


emen POST 
常 状 态 恢复 


API 说 明 
将 故障 物理 服务 器 上 的 虚拟 机 迁移 到 其 他 
计算 节点 物理 服务 需 
将 虚拟 机 加 入 指定 的 安全 组 ， 通 过 有 效 的 隔 
离 来 保证 网 络 安全 
将 虚拟 机 从 指定 安全 组 删除 


HTTP 方法 


POST 
POST 


为 虚拟 机 添加 浮动 IP 以 访问 外 网 POST 


获取 云 主机 控制 台 输出 内 容 

获取 云 主机 VNC 控制 台 URL， 可 以 通过 
浏览 器 访问 云 主机 

强制 删除 云 主机 ， 删 除 云 主机 相关 数据 ， 
包括 镜像 文件 

恢复 删除 的 云 主机 


POST 


ST 


| POST 
复 


POST 


"d "d "d 
O o O 
Nn Nn 
H H 


2. 虚 拟 机 诊断 


表 4-2 给 出 了 虚拟 机 诊断 API 相 关 的 说 明 。 


请 求 body 


{"pause":null} 


{"unpause":null} 


{"suspend":null} 


"resume" :null} 


{"migrate":null} 


{"resetNetwork":null} 


{"injectNetworkInfo":null} 

{"lock":null} 

{"unlock":null} 

{"createBackup":{"name":"Backup 1","backup_ 
type":"daily"," 

f"os-migrateLive": ("host":"0443e9a1254044d8b99f35e 
acel32080", 


"block migration":false,"disk over commit":falsej ] 


rotation":1}} 


{"os-resetState":{"state":"active"}} 


请 求 body 
f"evacuate": ("host":" TargetHost","adminPass":" MySec 


retPass","onSharedStorage":" True") ) 
f"addSecurityGroup": ("name":"test"] j 


i"removeSecurityGroup": ("name":"test") ] 
f"addFloatingIp":f"fixed address": 
"166.78.185.*","address":"172.24.4.*"]] 


f"os-getConsoleOutput": ("length":50] ) 


1"os-getVNCConsole": ("type":"novnc"]] 


i"forceDelete":null) 


f"restore":nullj 


表 4-2 ”虚拟 机 诊断 API 


API 说 明 
诊断 云 主机 ， 获 取 云 主机 诊断 的 相关 数据 返回 


3. 虚 拟 机 镜像 查询 


表 4-3 中 是 虚拟 机 镜像 查询 API 相 关 的 说 明 。 


HTTP 方法 
GET 


API URL 


v2/ftenant idj/servers/([server id]/diagnostics 


API 说 明 
查询 全 部 镜 


查询 单个 镜像 


= | -— 


4. 物理 服务 器 管理 


表 4-4 中 是 物理 服务 器 管理 API 相 关 的 说 明 。 


API 说 明 
查询 全 部 物理 服 
查询 指定 物理 服务 器 信息 
维护 物理 服务 器 


nu 


DET. 


API 说 明 
启动 物理 服务 器 
关闭 物理 服务 器 
重启 物理 服务 器 


5. 卷 管理 


表 4-5 中 是 卷 (Volume) 管理 API 相 关 的 说 明 。 


API 说 明 
查询 所 有 volume 


查询 所 有 volume 及 详细 信息 


创建 volume 

查询 单个 volume 

删除 指定 volume 

查询 所 有 volume 类 型 
查询 指定 volume 信息 
创建 快照 

查询 所 有 快照 
查询 所 有 快照 
获取 指定 快照 
删除 指定 快照 
指定 云 主 机 挂 载 volume 


查询 所 有 挂 载 volume 


及 详细 信息 


获取 指定 volume 挂 载 信息 


删除 指定 volume 挂 载 


4.1.5 “分 页 查询 和 查询 优化 


如 果 OpenStack 云 里 有 成 百 上 干 个 虚拟 机 或 其 他 类 型 的 对 象 需要 查询 ， 那 么 最 好 利 | 


果 都 有 一 定 的 上 限 ， 如 | 万 条 。 


可 以 使 


象 详 细 信息 ， 包 括 镜像 大 小 


Exr. 


TEAM. ， 包 括 镜像 大 小 


表 4-3 ”虚拟 机 镜像 查询 API 


API URL 


v2/(tenant id)/images/detail 


表 4-4 ”物理 服务 器 管理 API 
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表 4-5 
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API URL 
v2/ftenant idj/os-hosts 
v2/Ítenant idj/os-hosts/(host name] 


v2/ftenant idj/os-hosts/(host name] 


API URL 


v2/ftenant idj/os-hosts/(host namej/startup 


v2/(tenant id)/images/fimage id) 


v2/ítenant idj/os-hosts/(host namej/shutdown 


v2/ftenant id]/os-hosts/fhost namej/reboot 


卷 管理 API 


ot | i | œ ps [oe bs ps | m ps [em | m 


1 


API URL 


'1.l/ftenant id)/os-volumes 

.l/ftenant id]/os-volumes/detail 
.l/ftenant id)/os-volumes/[volume 1dj 
']l.l/ftenant idj/os-volumes/(volume idj 
.l/ftenant id]/os-volumes/(volume id] 
.l/ftenant id]/os-volume-types 

.l/ftenant id]/os-volume-types/(volume type id] 
.l/ftenant id]/os-snapshots 

.l/ftenant id]/os-snapshots 

.l/ftenant id)/os-snapshots/detail 
;1.l/ftenant id]/os-snapshots/[snapshot idj 


.l/ftenant id]/os-snapshots/[snapshot id] 


v2/(tenant id)/servers/[server idj/os-volume attachments 


v2/Ítenant id]/servers/[server id]/os-volume attachments 


v2/(tenant id])/servers/[server idj/os-volume attachments/ 


{attachment id] 


v2/(tenant id)/servers/[server idj/os-volume attachments/ 


{attachment id] 


分 页 机 制 使 每 次 查询 仅 返 回 部 分 数据 ， 这 样 做 有 两 方面 的 原因 : 


marker、limit 和 end_marker 三 个 查询 参数 来 控制 分 页 。 


一 方面 是 方便 查看 ， 另 一 方面 ， 


很 多 API 的 查询 结 


: marker parameter: 用 来 标记 从 哪 条 记录 开始 返回 。 将 market_patrameter 设 置 为 上 次 查询 最 后 一 条 记录 的 name， 则 本 次 查询 将 会 返回 后 续 的 记录 结果 。 如 果 参 数值 包含 特殊 字符 ， 则 要 用 URL 转 义 进行 编 


码 。 
* limit parameter: 控制 每 次 查询 返回 的 记录 数量 。 
* end_marker parameter: 用 来 标记 查询 到 哪 条 记录 截止 。 查 询 结果 仅 返 回 name 的 值 小 于 end_matket_parametet 的 记录 。 如 果 参 数值 包含 特殊 字符 ， 则 要 用 URL 转 义 进行 编码 。 
例如 : 
GET 


/v2.0/networks.json?limit-2&marker-71c1e68c-171a-4aa2-aca5-50ea153a3718 


为 了 方便 起 见 ，Openstack API 在 查询 结果 中 还 提供 了 翻 页 的 链接 。 


在 XML 查询 结果 中 ， 翻 页 是 <atom:link> 标 签 。 如 : 


<?xml version-"1.0" encoding-"UTF-8"?» 


Ximages xmlns-http://docs.openstack.org/compute/api/v1l.1 
xmlns:atome"http://www.w3.0rg/2005/Atom"» 
«image id-"52415800-8b69-11e0-9b19-734f6f006e54" name-"CentOS 5.2"» 


<atom:link rel-"self" 


href-"http://servers.api.openstack.org/v2/1234/images/ 
52415800-8569-11e0-9b19-734f6f£006e54" 


/> 
</image> 
<atom:link rel="next" 


href-"http://servers.api.openstack.org/v2/1234/images? 
limit-l&amp;marker-52415800-8b69-11e0-9b19-734f6f006e54" 


/» 


«/images» 


在 JSON 查 询 结果 中 ， 翻 页 是 href 属 性 。 如 : 


"images":[ 
"id":"52415800-8569-11e0-9019-734f6f006e54", 
"name":"CentOS 5.2", 

"links":[ 


"rel";"self", 


"href":"http://servers.api.openstack.org/v2/1234/images/ 
52415800-8569-11e0-9b19-734f6f£006e54" 


} 


} 
]， 


"images links":[ 


"rel";"next", 
"href": 


"http://servers.api.openstack.org/v2/1234/images?limit=1&amp; 
marker=52415800-8b69-11e0-9b19-734f6f006e54" 


f 
] 


翻 页 链接 会 保留 上 次 查询 指定 的 分 页 大 小 。 


此 外 ， 有 时 为 了 避免 每 次 查询 全 部 对 象 ， 可 以 使 


changes-since 来 指定 仅 返 回 指定 时 间 后 改变 的 对 象 。 


时 间 的 格式 应 符合 CCYY-MM-DDThh:mm:ss 形 式 (例如 ，2014-02-14T19: 08: 00) 。 


另外 ,为 了 避免 频繁 的 APl 查 询 对 服务 器 产生 的 压力 ，Nova 默 认 对 API 请 求 的 频率 有 一 定 的 限制 ， 可 以 通过 HTTP GET 方 法 查询 API “v2/{tenant idMlimits” 来 获取 限制 的 详情 。 


Os 意 本 节 内 容 不 一 定 适用 于 Volume 和 Netwod 


4.1.6 ”如 何 编写 一 个 核心 API 


这 里 介绍 一 下 编写 核心 API 的 流程 : 


kéj API. 


1) 定义 一 个 RESTful 资 源 ， 并 为 该 资源 编写 一 个 controller， 实 现 所 有 标准 操作 ， 即 index、create、delete 等 ， 也 可 以 为 该 资源 加 入 其 他 自 定义 的 操作 。 


2) 在 APIRouter 的 实现 里 加 入 该 RESTfu| 资 源 的 路 由 。 例 如 ， 对 于 计算 服务 ， 对 应 的 则 是 nova.api.openstack.compute.APIRouter。 


43.7. ”如 何 编写 一 个 扩展 API 


在 编写 扩展 API 时 ， 流 程 如 下 : 


1) 定义 一 个 新 RESTful 资 源 ， 并 为 该 资源 编写 一 个 controller， 实 现 所 有 标准 操作 ， 即 index、create、delete 等 ， 也 可 以 修改 一 个 已 有 资源 的 controller。 


2) 定义 一 个 extensions.ExtensionDescriptor 的 子 类 。 实 现 方法 取决 于 是 注册 一 个 新 的 resource 还 是 扩 


安装 新 的 resources 或 controller extensions。 当 然 ， 


户 也 可 以 同时 实现 这 两 个 方法 。 


展 已 有 resource 的 controller。 前 者 需要 实现 get_resources 或 get_controller_extensions 方 法 来 


3) 将 controller (s) 的 类 和 extensions descriptor 的 类 的 类 名 小 写 ， 放 入 与 extension descriptor 的 同名 模块 中 。 这 样 nova.api.openstack.extensions.load standard extensions 方 法 就 可 以 自动 识 


别 。 


4) 将 模块 文件 放 入 特定 的 包 目录 下 ， 一 般 是 contrib 包 。 


5) 如 果 要 自 定 义 路 由 规则 (例如 ，URL 中 不 包含 tenant id) ， 还 需要 实现 custom_routes fn 方法 。 


以 下 是 一 个 简单 的 例子 : 


class DocumentController (object): 


"""the Document s API controller deceleration""" 


def index (self, req) : 
"""return a list of documents""" 
pass 


def create (self, req, body): 
"""create a document""" 
pass 

def show (self, req, id) : 
"""read the details of a document given its id""" 
pass 

def update (self, req, id, body) : 
"""updates a document given its id and content""" 
pass 

def delete (self, req, id) : 
"""removes a document given its id""" 
pass 

class Documents (extensions.ExtensionDescriptor): 
"""ExtensionDescriptor implementation""" 


name = "document" 

dlias = "os-documents" 

namespace = "http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path-/c 
updated = "http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/ . . http: / /www.hzcourse.com/resource/readBook?path-/ope 


def get resources (self): 
"""register the new Documents RESTful resource 
resources = [extensions.ResourceExtension ('os-documents', 
DocumentController())] 
return resources 


该 示例 对 应 以 下 URL 和 HTTP 动 作 : 
- GET v2/{tenant_id} /os-documents 
- POST v2/ (tenant. id) /os-documents 
- GET v2/ (tenant. id) /os-documents/ (document. id) 
- PUT v2/ (tenant. id] /os-documents/ (document. id) 


: DELETE v2/ (tenant. id] /os-documents/ (document id] 


4.1.8 通过 Filter 为 AP| 增 加 功能 


根据 上 文 介绍 的 WsGI 工 作 原理 ， 可 以 了 解 到 API 的 流程 是 通过 Paste 定 义 的 ， 因 此 ， 也 可 以 通过 添加 一 个 Filter 来 为 已 有 的 AP 增加 功能 。 


例如 ， 可 在 Nova 相 应 的 Paste 配 置 文件 里 修改 (nova-api-paste.ini) ， 在 pipeline 上 添加 一 个 名 为 audit 的 fiter， 如 下 : 


[pipeline:openstackapill] 

pipeline - faultwrap authtoken keystonecontext ratelimit audi 
extensions osapiappll 

[filter:audit] 

paste.filter factory = nova.api.openstack.audit:AuditMiddleware.factory 


然后 实现 这 个 标准 的 MiddleWare， 如 下 : 


import time 
from nova import log as logging 
from nova import wsgi as base wsgi 
from nova.api.openstack import wsgi 
LOG = logging.getLogger ('nova.api.audit') 
class AuditMiddleware (base wsgi.Middleware): 
"""store POST/PUT/DELETE api request for audit.""" 
def init (self, application, audit methods-'POST, PUT, DELETE') : 
base wsgi.Middleware. init (self, application) 
self. audit methods = audit methods.split(",") 
def process request(self, req): 
self. need audit = req.method in self. audit methods 
if self. need audit: g B 
self. request = req 
self. requested at - time.time( 
def process response(self, response): 
if self. need audit and response.status int »- 200 and response.status int« 300: 
self. store log (response) 
return response 
def store log(self, response): 
"req = self. request 
LOG.info("tenant: $s, user: $s, $s: $s, at: $s", 
req.headers.get('X-Tenant', 'admin'), 
req.headers.get('X-User', 'admin'), 
req.method, 
req.path info, 
self. requested at) 


中 


看 启 nova-api 进 程 后 进行 的 所 有 Nova 操 作 ， 都 能 在 日 志文 件 里 面 看 到 了 ， 例 如 : 


tenant:l1, user:admin, DELETE:/1l/servers/22, at:1526858260.58 


第 4 章 OpenStack API 的 介绍 和 开发 


4.44 简 述 Nova APl 体 系 


在 整个 OpenStack 框 架 中 ，Nova API 服 务 处 于 核心 地 位 ， 所 有 Nova 的 命令 均 是 通过 该 API 接 口 来 控制 管理 计算 服务 的 。API 接 口 都 是 标准 HTTP Web Service， 包 括 全 部 的 Nova 调 用 ， 以 及 对 API 本 身 
的 认证 和 授权 。 该 Web Service 默 认 使 用 8774 端 口 。 可 以 用 一 个 Web 框 架 的 思路 去 理解 Nova API 的 框架 。 


整个 API 的 框架 结构 是 以 WSGI 标 准 为 入 口 ， 加 上 Routes、Webob 和 Paste 等 Python 组 件 构成 的 。 


4.1.1 WSGI 架 构 


WSG| 是 一 个 接口 标准 ， 即 “服务 器 网 关 接 口 ” (Web Server Gateway Interface, WSGI) ， 是 Python 应 用 程序 或 框架 和 Web 服 务 器 之 间 的 一 种 接口 协议 。 只 要 遵照 这 些 协议 ，WSG| 应 用 
(Application) 可 以 在 任何 实现 (Server) 上 运行 ， 反 之 亦 然 。 指 定 服务 端 和 应 用 端的 接口 ， 按 照 WSGI 标 准 编写 的 应 用 可 以 运行 在 任何 符合 该 标准 的 服务 器 上 。 


一 般 WSsGI 里 面 有 application、server、client 这 三 个 角色 ， 它 们 之 间 的 关系 是 client 发 送 请 求 给 server，server 转 发 这 个 请 求 给 application， 然 后 application 进 行 一 系列 操作 之 后 ， 将 响应 发 送 给 


server，server 再 将 响应 转发 给 client，server 起 一 个 转发 的 作用 。 


首先 是 在 server 中 定义 了 一 个 方法 start_response (status, response_headers, exc_info=None) 返回 值 是 一 个 write(0 函 数 ， 也 就 是 必须 在 执行 过 start_response() 函 数 之 后 ， 才 能 执行 write() 方 法 。 
定义 了 environ 变 量 ， 即 环境 变量 ， 里 面 存放 的 是 server 接 收 到 的 client 端 的 环境 变量 。WSGI 规 定 了 server 要 将 start_response 和 environ 发 送 给 application。 然 后 application 就 要 有 接收 这 两 个 参数 
“接口 ”， 这 个 “接口 ”可 以 以 各 种 方式 实现 ， 如 方法 、 函 数 、 类 等 都 可 以 。 接 收 到 之 后 ， 在 application 端 调用 start_response() 方 法 ， 而 且 这 个 调用 一 定 要 在 return 之 前 。WSGI 规 定 了 application 要 实 
接收 这 两 个 参数 的 “接口 ”， 并 且 执 行 start_response()。server 在 接收 到 application 的 响应 之 后 ， 就 开始 使 用 write() 方 法 将 数据 传 给 client， 它 首先 会 判断 start_response() 方 法 是 否 执行 ， 如 果 没 有 执 

， 那 么 就 报 出 “AssertionError ("write(before start_response()") ”这 样 的 异常 。 如 果 执 行 了 start_response(0， 那 么 write(0 则 正常 执行 。 


& b 


当 


" 
a 
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4-1 是 官网 上 一 个 简单 的 例子 。 
#! /usr/bin/env python 


# Our tutorial's WSGI server 


from wsgiref.simple server import make server 


def application(environ, start response): 
“2e 这 个 就 是 application, SA TRZA TEAD, 并 且 村 下面 调用 了 start_response()*"* 
# Sorting and stringifying the environment key, value pairs 
response body = ['%s: Xs' % (key, value) 
for key, value in sorted(environ.items())] 
response body = 'An'.join(response body) 


status = '200 OK' 

response headers = [('Content-Type', 'text/plain'), 
('Content-Length', str(len(response body)))] 

start response(status, response headers) 


return [response body] 


# Instantiate the WSGI server. 
# It will receive the request, pass it to the application 
# and send the application's response to the client 
# 这 个 是 server, 在 它 内 部 定义 了 start_response() 方 法 和 environ 变 量 , 并 且 调 用 application 
httpd = make server( 
'localhost', # The host name. 
8051, # A port number where to wait for the request. 


application it Our application object name, in this case a function. 


) 


# Wait for a single request, serve it and quit. 
httpd.handle request() 


图 4-1 示例 代码 


因为 WSGI 同 时 指定 了 服务 端 接口 和 应 用 端 (也 可 以 理解 为 客户 端 ) 接口 ， 所 以 不 难 理解 ，WSGI 应 用 程序 是 可 以 堆 芭 的 。 当 然 ， 处 于 WSGI 组 件 栈 中 间 的 中 间 件 组 件 必须 同时 实现 服务 端 接口 和 应 用 端 
接口 。 处 于 WSGI 组 件 栈 上 层 的 组 件 负责 为 邻接 下 层 的 组 件 提供 服务 。 简 单 来 说 ， 一 个 WSGI 服 务 器 的 作用 就 是 负责 接收 客户 端 发 送 来 的 请 求 ， 并 逐 层 向 下 传递 ， 把 每 一 层 组 件 处 理 的 结果 返回 ， 其 原理 类 似 
于 程序 调用 栈 ， 只 不 过 粒度 更 粗 。 


介绍 完了 WSGI 接 口 ， 再 来 看 看 几 个 主要 的 Python 组 件 : Webob、Paste 和 Routes。 


Webob 是 在 Python 上 的 WSsGI 容 器 ， 它 将 WSGI 请 求 消息 包装 成 Python 对 象 ， 辅 助 开 发 者 创建 WSGI 回 复 消息 。 它 可 以 方便 地 操作 HTTP 请 求 ， 包 括 HTTP Header 处 理 、HTTP 内 容 解析 、HTTP 协 议 对 
话 。 


Paste 是 一 个 方便 WSGI 服 务 配 置 和 部 署 的 组 件 ， 通 过 loadapp 函 数 和 一 个 配置 文件 或 egg 包 来 载 入 WSG| 应 用 (在 OpenStack 中 通常 是 api-paste.ini 文 件 ) 。 对 于 WSGI 服 务 端 ， 它 仅 需要 一 个 单一 入 口 
点 ， 而 不 必 对 WSGI 客 户 端 暴露 具体 的 实现 细节 。 


Paste 配 置 内 容 一 般 分 为 以 下 几 部 分 。 


- [app:main]: 定义 WSGI 应 用 ，main 表 示 只 有 一 个 应 用 。 如 果 有 多 个 应 用 ， 则 main 改 为 应 用 名 字 。WSGI 应 用 是 一 个 callable object, 4&4 4X. (environ, start response) ， 这 是 paste 系 统 交 给 application 的 ， 
符合 WSGI 规 范 的 参数 。app 需 要 完成 的 任务 是 响应 envrion 中 的 请 求 ， 准 备 好 响应 头 和 消息 体 ， 然 后 交 给 start_response 处 理 ， 并 返回 响应 消息 体 。 


* [server:main]: 定义 WSGI 的 一 个 server。 
“ [composite:xxx]: 表示 需要 将 一 个 请 求 调度 定向 (dispatched). 到 多 个 (或 者 多 种 ) 应 用 上 。 在 OpenStack 中 一 般 通 过 urlmap 来 实现 载 入 多 应 用 。 
“ [flter:]: 定义 “过 滤器 ”， 将 应 用 进行 进一步 封装 。 


: [pipeline]: 定义 处 理 通道 。 通 过 pipeline 装 载 多 个 flter，OPpenStack 将 最 基本 的 APIRouter 基 类 ， 层 层 包装 ， 使 其 变 为 一 个 具有 处 理 认证 等 扩展 功能 的 应 用 。 


- [DEFAULT]: 定义 一 些 默认 变量 的 值 。 


Routes 则 是 一 个 简单 的 URL 路 由 组 件 ， 可 以 理解 为 Ruby On Rails 的 一 个 Python 实现 。 它 可 按照 规定 的 URL 模 式 将 HTTP 请 求 映射 到 各 个 Action， 或 者 反 向 生成 指定 的 URL。 通 过 Routes 可 以 轻松 地 创建 
简洁 的 RESTful Web Service, 


如 图 4-2 所 示 ， 在 每 个 Nova API 的 工作 线程 中 ， 都 有 一 个 nova.wsgi.Server 作 为 嵌入 式 的 WSGI 服 务 器 。 它 将 每 个 WSGI 服 务 包 装 成 一 个 Eventlet (114.215) ， 运 行 在 一 个 可 管控 的 线程 池 里 ， 并 分 配 单 
独 Socket 以 便 定制 化 配置 (端口 号 、 队 列 长 度 ) 。 


与 典型 的 堆 亚 式 WSGI 组 件 结构 不 同 ， 通 过 引入 nova.api.openstack.compute.APIRouter，Openstack 人 允许 多 个 WSGI 客 户 端 同时 接 驳 到 同一 个 WSGI 服 务 端 。 因 此 不 难 理解 为 什么 每 个 核心 APl 和 扩展 
资源 都 是 一 个 独立 WSG| 应 用 。 


nova.wsgi.Router 是 nova.api.openstack.compute.APIRouter 的 父 类 。 它 内 部 使 用 了 routes.middleware.RoutesMiddleware 将 请 求 路 由 到 每 个 WSG| 应 用 中 。 


nova.api.openstack.wsgi.Resource (也 是 nova.Application 的 实现 ) 为 Webob 包 装 的 WSGI 应 用 ， 定 义 了 一 个 单一 入 口 点 ， 并 负责 处 理 所 有 WSGI 请 求 。 所 有 的 核心 API 和 扩展 API 其 实 就 是 


nova.api.openstack.wsgi.Resource 的 Controller (控制 器 ) 。 


WSGI Server API Worker 


WSGI Router 


RoutesMiddlew are 


Extension API 
Server API Flavor API Aggregate API Other API Applicantions 


图 4-2 Nova API 工 作 线程 
4.1.2. API 响应 流程 


系统 收 到 的 HTTP Web Service 形 式 的 API 请 求 会 首先 到 达 nova.api.openstack.APIRouter 实 例 ， 然 后 转交 到 内 部 类 routes.middleware.RoutesMiddleware 的 实例 。 在 这 里 ， 它 会 根据 初始 化 阶段 载 入 
的 URL 映 射 规则 将 请 求 路 由 到 WSGI resource， 如 图 4-3 所 示 。 在 RESTful 网 络 架构 的 术语 中 ， 一 个 resource 代 表 URL 所 定位 的 一 个 资源 ， 这 里 是 指 URL 中 指定 的 核心 API 或 扩展 AP|。 


WSGI 服 务 器 [— TE: 
Z. WSgITH > 


iue; Nd 


3. EIE I FUSE y iS 


APIRouter 


RoutesMiddlew are 


4. 转发 请 求 


eT S 将 请 求 多 路 转发 到 各 个 处 理 方法 | ENE 
E» "T 


index 控制 如 ds 
EM index delete 
delete 


show create 


creato delete 
create 


图 4-3 ”API 响应 流程 


该 WsGI resource 的 实现 类 收 到 请 求 后 ，nova.api.openstack.wsgi.Resource 会 根据 通过 URL 识 别 出 的 操作 类 型 ， 并 将 请 求 分 发 给 具体 的 方法 (index、create、delete 或 其 他 自 定 义 方 法 ) 来 执行 。 


4.1.3 扩展 API 的 加 载 


ExtensionManager 基 于 osapi_ compute_extension 的 配置 信息 加 载 标准 扩展 或 特定 的 扩展 ， 代 码 如 下 。 


(/nova/api/openstack/extensions.py 


class ExtensionManager: 
def load extension 
(self 
) 

extensions - list 
(self.cls list 
) 


for ext factory in extensions: 
self.load extension 
(ext factory 
J 


整个 加 载 过 程 开始 于 contrib 包 的 初始 化 阶段 (无 论 是 标准 扩展 还 是 特定 扩展 ) 。 系 统 会 从 预定 的 位 置 (对 于 Compute 和 Volume 的 AP1， 则 是 contrib 包 所 在 的 目录 ) 加 载 所 有 符合 特定 命名 规范 的 扩 
模块 〈 即 模块 里 的 类 名 与 模块 名 相同 ， 且 首 字母 大 写 ) 。 而 对 于 特定 扩展 的 加 载 ， 则 在 Nova 的 配置 文件 里 指定 。 


具体 的 加 载 过 程 分 为 两 个 阶段 : 扩展 模块 的 加 载 和 配置 扩展 APl， 如 图 4-4 所 示 。 读 者 可 以 对 照 具体 代码 来 了 解 ， 这 里 不 再 歼 述 。 


APIRouter 


L8) LESER B D ES PE 


importutils.import class 


4. 导 入 扩展 模块 


5. 设 置 扩展 路 由 


6. 获 取 扩 展 资源 


4-4 扩展 API 的 加 载 


4.14 Nova API 列 表 


这 里 列 出 了 部 分 常用 的 Nova 的 API。v1.1 版 本 的 Nova API 是 早期 版 本 沿用 下 来 的 AP1， 而 v2 版 本 的 Nova APl 多 为 最 近 OpenStack 版 本 新 加 入 的 。 


在 Linux 命 令 行 下 可 以 使 用 curl 来 测试 AP1， 使 用 方法 为 : 


$ curl 
-X GET -i-H "X-Auth-Token: { 
ZES) "http: // (1p) / (APT) 


例如 : 


$ curl 
-X GET -i N 

-H "X-Auth-Token:fc81aaa6-98al-9ab0-94ba-aba9a89aa9ae" \ 
https://127.0.0.1/v2/d2b087d1c6e0413c881933baldb31d69/servers/1234567/suspend 


完整 的 API 列 表 以 及 参数 定义 可 以 参见 : http://api.openstack.org/api-ref-compute-ext.html。 


1. 虚 拟 机 管理 


该 组 API 的 URL 请 求 格式 均 为 “v2/{tenant_id}/servers/{server_id}/action”， 方法 均 为 POST，Nova 通 过 JSON 的 请 求 body 来 区 分 具体 执行 什么 操作 ， 见 表 4-1。 


表 4-1 虚拟 机 管理 API 


API 说 明 HTTP 方法 
暂停 虚拟 机 ， 将 状态 置 为 PAUSED POST 
将 暂停 的 虚拟 机 恢复 ， 并 将 状态 置 为 — 
ACTIVE 

生起 虚拟 机 ， 并 将 虚拟 机 状态 置 关 

挂 起 虚拟 机 ， 并 将 虚拟 机 状 EL JJ Soat 
SUSPENDED 

将 挂 起 虚拟 机 激活 ， 并 将 虚拟 机 状态 置 关 

尾 挂 起 虚拟 机 激活 并 将 EAL 置 为 POST 
ACTIVE 


将 虚拟 机 迁移 到 另 一 台 物 理 服务 器 ， 可 以 
由 调度 器 选择 物理 服务 器 ， 也 可 以 手动 指定 
将 虚拟 机 相关 的 网 络 设备 信息 重 置 ， 通 党 
用 于 故障 情况 

将 指定 网 络 信息 注入 虚拟 机 

将 虚拟 机 锁定 ， 不 让 人 修改 和 使 用 
解锁 锁定 的 虚拟 机 ， 恢 复 使 用 


POST 


POST 
POST 
POST 


备份 虚拟 机 POST 
在 不 重启 或 关闭 的 情况 下 ， 将 虚拟 机 动态 


bs 5 SE POST 
EBIHARA de 


将 虚拟 机 状态 设置 成 指定 状态 ， 常 


emen POST 
常 状 态 恢复 


API 说 明 
将 故障 物理 服务 器 上 的 虚拟 机 迁移 到 其 他 
计算 节点 物理 服务 需 
将 虚拟 机 加 入 指定 的 安全 组 ， 通 过 有 效 的 隔 
离 来 保证 网 络 安全 
将 虚拟 机 从 指定 安全 组 删除 


HTTP 方法 


POST 
POST 


为 虚拟 机 添加 浮动 IP 以 访问 外 网 POST 


获取 云 主机 控制 台 输出 内 容 

获取 云 主机 VNC 控制 台 URL， 可 以 通过 
浏览 器 访问 云 主机 

强制 删除 云 主机 ， 删 除 云 主机 相关 数据 ， 
包括 镜像 文件 

恢复 删除 的 云 主机 


POST 


ST 


| POST 
复 


POST 


"d "d "d 
O o O 
Nn Nn 
H H 


2. 虚 拟 机 诊断 


表 4-2 给 出 了 虚拟 机 诊断 API 相 关 的 说 明 。 


请 求 body 


{"pause":null} 


{"unpause":null} 


{"suspend":null} 


"resume" :null} 


{"migrate":null} 


{"resetNetwork":null} 


{"injectNetworkInfo":null} 

{"lock":null} 

{"unlock":null} 

{"createBackup":{"name":"Backup 1","backup_ 
type":"daily"," 

f"os-migrateLive": ("host":"0443e9a1254044d8b99f35e 
acel32080", 


"block migration":false,"disk over commit":falsej ] 


rotation":1}} 


{"os-resetState":{"state":"active"}} 


请 求 body 
f"evacuate": ("host":" TargetHost","adminPass":" MySec 


retPass","onSharedStorage":" True") ) 
f"addSecurityGroup": ("name":"test"] j 


i"removeSecurityGroup": ("name":"test") ] 
f"addFloatingIp":f"fixed address": 
"166.78.185.*","address":"172.24.4.*"]] 


f"os-getConsoleOutput": ("length":50] ) 


1"os-getVNCConsole": ("type":"novnc"]] 


i"forceDelete":null) 


f"restore":nullj 


表 4-2 ”虚拟 机 诊断 API 


API 说 明 
诊断 云 主机 ， 获 取 云 主机 诊断 的 相关 数据 返回 


3. 虚 拟 机 镜像 查询 


表 4-3 中 是 虚拟 机 镜像 查询 API 相 关 的 说 明 。 


HTTP 方法 
GET 


API URL 


v2/ftenant idj/servers/([server id]/diagnostics 


API 说 明 
查询 全 部 镜 


查询 单个 镜像 


= | -— 


4. 物理 服务 器 管理 


表 4-4 中 是 物理 服务 器 管理 API 相 关 的 说 明 。 


API 说 明 
查询 全 部 物理 服 
查询 指定 物理 服务 器 信息 
维护 物理 服务 器 


nu 


DET. 


API 说 明 
启动 物理 服务 器 
关闭 物理 服务 器 
重启 物理 服务 器 


5. 卷 管理 


表 4-5 中 是 卷 (Volume) 管理 API 相 关 的 说 明 。 


API 说 明 
查询 所 有 volume 


查询 所 有 volume 及 详细 信息 


创建 volume 

查询 单个 volume 

删除 指定 volume 

查询 所 有 volume 类 型 
查询 指定 volume 信息 
创建 快照 

查询 所 有 快照 
查询 所 有 快照 
获取 指定 快照 
删除 指定 快照 
指定 云 主 机 挂 载 volume 


查询 所 有 挂 载 volume 


及 详细 信息 


获取 指定 volume 挂 载 信息 


删除 指定 volume 挂 载 


4.1.5 “分 页 查询 和 查询 优化 


如 果 OpenStack 云 里 有 成 百 上 干 个 虚拟 机 或 其 他 类 型 的 对 象 需要 查询 ， 那 么 最 好 利 | 


果 都 有 一 定 的 上 限 ， 如 | 万 条 。 


可 以 使 


象 详 细 信息 ， 包 括 镜像 大 小 


Exr. 


TEAM. ， 包 括 镜像 大 小 


表 4-3 ”虚拟 机 镜像 查询 API 


API URL 


v2/(tenant id)/images/detail 


表 4-4 ”物理 服务 器 管理 API 


HTTP 方 ; 
ET 
ET 
UT 
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HTTP 方 ; 
E 
E 
GET 


Q 
中 


Q 


I 
- 
=j 
U 
x 


ik 
GET 
GET 
POST 
ET 
DELETE 
GET 
ET 
POST 
GET 
GET 
GET 
DELETE 
POST 
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表 4-5 
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API URL 
v2/ftenant idj/os-hosts 
v2/Ítenant idj/os-hosts/(host name] 


v2/ftenant idj/os-hosts/(host name] 


API URL 


v2/ftenant idj/os-hosts/(host namej/startup 


v2/(tenant id)/images/fimage id) 


v2/ítenant idj/os-hosts/(host namej/shutdown 


v2/ftenant id]/os-hosts/fhost namej/reboot 


卷 管理 API 


ot | i | œ ps [oe bs ps | m ps [em | m 


1 


API URL 


'1.l/ftenant id)/os-volumes 

.l/ftenant id]/os-volumes/detail 
.l/ftenant id)/os-volumes/[volume 1dj 
']l.l/ftenant idj/os-volumes/(volume idj 
.l/ftenant id]/os-volumes/(volume id] 
.l/ftenant id]/os-volume-types 

.l/ftenant id]/os-volume-types/(volume type id] 
.l/ftenant id]/os-snapshots 

.l/ftenant id]/os-snapshots 

.l/ftenant id)/os-snapshots/detail 
;1.l/ftenant id]/os-snapshots/[snapshot idj 


.l/ftenant id]/os-snapshots/[snapshot id] 


v2/(tenant id)/servers/[server idj/os-volume attachments 


v2/Ítenant id]/servers/[server id]/os-volume attachments 


v2/(tenant id])/servers/[server idj/os-volume attachments/ 


{attachment id] 


v2/(tenant id)/servers/[server idj/os-volume attachments/ 


{attachment id] 


分 页 机 制 使 每 次 查询 仅 返 回 部 分 数据 ， 这 样 做 有 两 方面 的 原因 : 


marker、limit 和 end_marker 三 个 查询 参数 来 控制 分 页 。 


一 方面 是 方便 查看 ， 另 一 方面 ， 


很 多 API 的 查询 结 


: marker parameter: 用 来 标记 从 哪 条 记录 开始 返回 。 将 market_patrameter 设 置 为 上 次 查询 最 后 一 条 记录 的 name， 则 本 次 查询 将 会 返回 后 续 的 记录 结果 。 如 果 参 数值 包含 特殊 字符 ， 则 要 用 URL 转 义 进行 编 


码 。 
* limit parameter: 控制 每 次 查询 返回 的 记录 数量 。 
* end_marker parameter: 用 来 标记 查询 到 哪 条 记录 截止 。 查 询 结果 仅 返 回 name 的 值 小 于 end_matket_parametet 的 记录 。 如 果 参 数值 包含 特殊 字符 ， 则 要 用 URL 转 义 进行 编码 。 
例如 : 
GET 


/v2.0/networks.json?limit-2&marker-71c1e68c-171a-4aa2-aca5-50ea153a3718 


为 了 方便 起 见 ，Openstack API 在 查询 结果 中 还 提供 了 翻 页 的 链接 。 


在 XML 查询 结果 中 ， 翻 页 是 <atom:link> 标 签 。 如 : 


<?xml version-"1.0" encoding-"UTF-8"?» 


Ximages xmlns-http://docs.openstack.org/compute/api/v1l.1 
xmlns:atome"http://www.w3.0rg/2005/Atom"» 
«image id-"52415800-8b69-11e0-9b19-734f6f006e54" name-"CentOS 5.2"» 


<atom:link rel-"self" 


href-"http://servers.api.openstack.org/v2/1234/images/ 
52415800-8569-11e0-9b19-734f6f£006e54" 


/> 
</image> 
<atom:link rel="next" 


href-"http://servers.api.openstack.org/v2/1234/images? 
limit-l&amp;marker-52415800-8b69-11e0-9b19-734f6f006e54" 


/» 


«/images» 


在 JSON 查 询 结果 中 ， 翻 页 是 href 属 性 。 如 : 


"images":[ 
"id":"52415800-8569-11e0-9019-734f6f006e54", 
"name":"CentOS 5.2", 

"links":[ 


"rel";"self", 


"href":"http://servers.api.openstack.org/v2/1234/images/ 
52415800-8569-11e0-9b19-734f6f£006e54" 


} 


} 
]， 


"images links":[ 


"rel";"next", 
"href": 


"http://servers.api.openstack.org/v2/1234/images?limit=1&amp; 
marker=52415800-8b69-11e0-9b19-734f6f006e54" 


f 
] 


翻 页 链接 会 保留 上 次 查询 指定 的 分 页 大 小 。 


此 外 ， 有 时 为 了 避免 每 次 查询 全 部 对 象 ， 可 以 使 


changes-since 来 指定 仅 返 回 指定 时 间 后 改变 的 对 象 。 


时 间 的 格式 应 符合 CCYY-MM-DDThh:mm:ss 形 式 (例如 ，2014-02-14T19: 08: 00) 。 


另外 ,为 了 避免 频繁 的 APl 查 询 对 服务 器 产生 的 压力 ，Nova 默 认 对 API 请 求 的 频率 有 一 定 的 限制 ， 可 以 通过 HTTP GET 方 法 查询 API “v2/{tenant idMlimits” 来 获取 限制 的 详情 。 


Os 意 本 节 内 容 不 一 定 适用 于 Volume 和 Netwod 


4.1.6 ”如 何 编写 一 个 核心 API 


这 里 介绍 一 下 编写 核心 API 的 流程 : 


kéj API. 


1) 定义 一 个 RESTful 资 源 ， 并 为 该 资源 编写 一 个 controller， 实 现 所 有 标准 操作 ， 即 index、create、delete 等 ， 也 可 以 为 该 资源 加 入 其 他 自 定义 的 操作 。 


2) 在 APIRouter 的 实现 里 加 入 该 RESTfu| 资 源 的 路 由 。 例 如 ， 对 于 计算 服务 ， 对 应 的 则 是 nova.api.openstack.compute.APIRouter。 


43.7. ”如 何 编写 一 个 扩展 API 


在 编写 扩展 API 时 ， 流 程 如 下 : 


1) 定义 一 个 新 RESTful 资 源 ， 并 为 该 资源 编写 一 个 controller， 实 现 所 有 标准 操作 ， 即 index、create、delete 等 ， 也 可 以 修改 一 个 已 有 资源 的 controller。 


2) 定义 一 个 extensions.ExtensionDescriptor 的 子 类 。 实 现 方法 取决 于 是 注册 一 个 新 的 resource 还 是 扩 


安装 新 的 resources 或 controller extensions。 当 然 ， 


户 也 可 以 同时 实现 这 两 个 方法 。 


展 已 有 resource 的 controller。 前 者 需要 实现 get_resources 或 get_controller_extensions 方 法 来 


3) 将 controller (s) 的 类 和 extensions descriptor 的 类 的 类 名 小 写 ， 放 入 与 extension descriptor 的 同名 模块 中 。 这 样 nova.api.openstack.extensions.load standard extensions 方 法 就 可 以 自动 识 


别 。 


4) 将 模块 文件 放 入 特定 的 包 目录 下 ， 一 般 是 contrib 包 。 


5) 如 果 要 自 定 义 路 由 规则 (例如 ，URL 中 不 包含 tenant id) ， 还 需要 实现 custom_routes fn 方法 。 


以 下 是 一 个 简单 的 例子 : 


class DocumentController (object): 


"""the Document s API controller deceleration""" 


def index (self, req) : 
"""return a list of documents""" 
pass 


def create (self, req, body): 
"""create a document""" 
pass 

def show (self, req, id) : 
"""read the details of a document given its id""" 
pass 

def update (self, req, id, body) : 
"""updates a document given its id and content""" 
pass 

def delete (self, req, id) : 
"""removes a document given its id""" 
pass 

class Documents (extensions.ExtensionDescriptor): 
"""ExtensionDescriptor implementation""" 


name = "document" 

dlias = "os-documents" 

namespace = "http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path-/c 
updated = "http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/ . . http: / /www.hzcourse.com/resource/readBook?path-/ope 


def get resources (self): 
"""register the new Documents RESTful resource 
resources = [extensions.ResourceExtension ('os-documents', 
DocumentController())] 
return resources 


该 示例 对 应 以 下 URL 和 HTTP 动 作 : 
- GET v2/{tenant_id} /os-documents 
- POST v2/ (tenant. id) /os-documents 
- GET v2/ (tenant. id) /os-documents/ (document. id) 
- PUT v2/ (tenant. id) /os-documents/ (document. id) 


: DELETE v2/ (tenant. id] /os-documents/ (document id] 


4.1.8 通过 Filter 为 AP| 增 加 功能 


根据 上 文 介绍 的 WsGI 工 作 原理 ， 可 以 了 解 到 API 的 流程 是 通过 Paste 定 义 的 ， 因 此 ， 也 可 以 通过 添加 一 个 Filter 来 为 已 有 的 AP 增加 功能 。 


例如 ， 可 在 Nova 相 应 的 Paste 配 置 文件 里 修改 (nova-api-paste.ini) ， 在 pipeline 上 添加 一 个 名 为 audit 的 fiter， 如 下 : 


[pipeline:openstackapill] 

pipeline - faultwrap authtoken keystonecontext ratelimit audi 
extensions osapiappll 

[filter:audit] 

paste.filter factory = nova.api.openstack.audit:AuditMiddleware.factory 


然后 实现 这 个 标准 的 MiddleWare， 如 下 : 


import time 
from nova import log as logging 
from nova import wsgi as base wsgi 
from nova.api.openstack import wsgi 
LOG = logging.getLogger ('nova.api.audit') 
class AuditMiddleware (base wsgi.Middleware): 
"""store POST/PUT/DELETE api request for audit.""" 
def init (self, application, audit methods-'POST, PUT, DELETE') : 
base wsgi.Middleware. init (self, application) 
self. audit methods = audit methods.split(",") 
def process request(self, req): 
self. need audit = req.method in self. audit methods 
if self. need audit: g B 
self. request - req 
self. requested at - time.time() 
def process response(self, response): 
if self. need audit and response.status int »- 200 and response.status int« 300: 
self. store log (response) 
return response 
def store log(self, response): 
"req = self. request 
LOG.info("tenant: $s, user: $s, $s: bs, at: $s", 
req.headers.get('X-Tenant', 'admin'), 
req.headers.get('X-User', 'admin'), 
req.method, 
req.path info, 
self. requested at) 


启 nova-api 进 程 后 进行 的 所 有 Nova 操 作 ， 都 能 在 日 志文 件 里 面 看 到 了 ， 例 如 : 


tenant:l1, user:admin, DELETE:/l/servers/22, at:1526858260.58 


4.2 理解 Eventlet 


Eventlet 在 OpenStack 服 务 中 “上 镜 率 ”很 高 ， 尤 其 在 服务 的 多 线程 和 WSGI Server 并 发 处 理 请 求 的 情况 下 。 


要 理解 Eventlet， 首 先 得 了 解 一 下 什么 是 协 程 。 


Te (又 称 为 协同 程序 ) 与 线程 差不多 ， 也 就 是 一 条 执行 序列 ， 拥 有 自己 独立 的 栈 、 局 部 变量 和 指令 指针 ， 同 时 又 与 其 他 协同 程序 共享 全 局 变量 和 其 他 大 部 分 东西 。 线 程 与 协同 程序 的 主要 区 别 在 于 ， 
一 个 具有 多 线程 的 程序 可 以 同时 运行 几 个 线程 ， 而 协同 程序 却 需要 彼此 协作 地 运行 。 就 是 说 ， 一 个 具有 多 协 程 的 程序 在 任何 时 刻 只 能 运行 一 个 协 程 ， 并 且 正 在 运行 的 协 程 只 会 在 其 被 显 式 地 挂 起 时 ， 它 的 执 
行 才 会 暂停 。 


s 


协 程 (coroutine) 的 特点 有 : 
' 每 个 协 程 有 自己 私有 的 stack 及 局 部 变量 。 
“ 同一 时 间 只 有 一 个 协 程 在 执行 ， 无 须 对 全 局 变量 加 锁 。 


“ 顺序 可 控 ， 完 全 由 程序 控制 执行 的 顺序 。 


那么 ，Eventlet 又 是 什么 ? 它 用 来 做 什么 ? 


Eventlet 是 一 个 用 来 处 理 和 网 络 相关 的 Python 库 函数 ， 其 主要 依赖 于 两 个 关键 的 库 : greenlet 和 select.epoll (或 者 epoll 等 类 似 的 库 ) 。greenlet 库 是 Eventlet 并 发 的 基础 。select 库 中 的 epol 则 是 其 默 


认 的 网 络 通信 模型 。Eventlet 可 以 通过 协 程 来 实现 并 发 ， 在 Eventlet 里 ， 把 “ 协 程 ”封装 成 greenthread (绿色 线程 ) 。 所 谓 并 发 ， 就 是 开启 了 多 个 greenthread， 并 且 对 这 些 greenthread 进 行 管理 ， 以 实 
现 非 阻塞 式 的 MO。 


由 于 Python 的 库 函 数 只 支持 普通 的 线程 ， 而 不 支持 协 程 ， 因 此 ，Eventlet 为 了 实现 “绿色 线程 ”， 对 Python 的 和 网 络 相关 的 几 个 标准 库 函 数 进行 了 改写 ， 以 补丁 (patch) 的 方式 导入 程序 中 ， 该 方式 


“绿化 ”， 这 样 即 可 实现 一 个 性 能 很 好 的 Web 服 务 器 。 


总 之 ， 协 程 就 是 运行 在 一 个 线程 内 的 伪 并 发 方式 ， 最 终 只 有 一 个 协 程 在 运行 ， 然 后 由 程序 来 控制 执行 的 顺序 。 可 以 参考 下 面 的 例子 来 理解 上 文 的 意思 。 


import greenlet 
def testl(n): 
print "testl:",n 
gr2.switch (32) 
print "testl:over" 
def test2 (n): 
print "test2:",n 
grl.switch (23) 
print "test2:over" 
greenlet = greenlet.greenlet 
current = greenlet.getcourrent () 
grl = greenlet (testl,current) 
gr2 = greenlet (test2, current) 
grl.switch(2) 


这 段 程序 的 执行 结果 如 下 : 


9, 


testl:2 
test2:32 
testl:over 


程序 的 过 程 很 直接 ， 首 先 创建 两 个 协 程 ， 创 建 的 过 程 传 入 了 要 执行 的 函数 和 父 greenlet， 然 后 调用 其 中 的 一 个 协 程 的 Switch 函数 ， 并 且 传 递 参数 进去 ， 开 始 执行 test1， 然 后 到 了 gr2.switch (32) i& 
切换 到 test2 函 数 ， 最 后 又 切换 回去 。 最 终 test1 运 行 结束 ， 回 到 父 greenlet 中 ， 执 行 结束 。 这 个 过 程 就 是 始终 只 有 一 个 协 程 在 运行 ， 函 数 的 执行 流 由 程序 自己 来 控制 。Eventlet 对 上 述 greenlet 进 行 了 一 


些 简单 的 封装 ， 就 成 了 所 谓 的 greenthread。 


43 自 定义 DashBoard 面 板 


43.1 理解 Django 框 架 


出 


Openstack 里 面 的 控制 面板 子 项 目 Horizon 是 基于 Django 的 。Django 是 一 个 典型 的 MVC 三 层 网 络 编程 框架 ， 它 包含 了 一 些小 工具 ， 可 以 让 开发 更 加 容易 和 快速 。 一 个 基本 Django 应 用 结构 如 图 4-5 所 


图 4-5 中 内 容 介 绍 如 下 : 


tests py 
(jews.py 
nysite/ 


图 4-5 基本 Django 应 用 结构 


“ 最 顶层 的 mysite/ 目录 是 整个 项 目的 容器 。 目 录 名 即 应 用 名 称 。 


.manage.py 是 一 个 命令 行 工具 ， 用 来 管理 Diangp 应 用 。 


“ 从 第 二 层 mysite/ 开始 的 子 目 录 ， 是 应 用 真实 的 Python 包 名 〈 例 如 mysite.settings) o 


“ mysite/_ init .py 是 一 个 空 文件 ， 用 来 告知 Python 此 目录 是 一 个 Python 包 。 


“ mysite/settings.py 用 于 保存 关于 Django 项 目的 配置 。 


- mysite/urls.py 是 关于 Django 项 目的 URL 模 式 声明 。 


“ mysite/wsgi.py 是 前 文 所 介绍 的 WSGI 服 务 器 的 一 个 入 口 点 。 


: myapp/models.py 是 MVC 里 的 模型 层 ， 用 于 连接 网 页 数据 和 数据 库 。 


: myapp/Views.py 是 MVC 里 的 展现 层 ， 负 责 接收 请 求 并 返回 响应 。 


Horizon 这 个 Django 项 目 为 manage.py 增 加 了 startdash 利 


其 中 的 manage.py 是 Django 自 动 生成 的 一 个 命令 行 小 工具 ， 通 


nstartpanel 这 两 个 命令 ， 如 


图 


4-6 所 示 。 


.bpy 
settings. pv 


uris.pv 
WSEgL.py 


过 它 可 以 方便 地 操作 Django 项 目 。 读 者 也 可 以 自己 扩展 这 个 小 工具 来 加 入 一 些 自 定义 的 项 目 管理 功能 。 


Available subcommands: 


changepassword 
crentesuperuser 


compress 
mtime cache 


cleanup 
compilemessages 
createcachetable 
dbshell 
diffsettings 
dumpdata 

flush 

inspectdb 
loaddata 
makemessages 
reset 

runfcgi 

shell 


sqlcustom 
sqltlush 
sqlindexes 
sqlinitialdata 
sqlreset 
sqlsequencereset 
3tartapp 
Sstartproject 
3yncdb 

test 
testserver 
validate 


3ctartdash 
startpanel 


collectstatic 
findstatic 
runserver 


图 4-6 Horizon 命令 


43.2 Django 界面 国际 化 


在 Django 界 面 国际 化 过 程 中 ， 首 先 要 在 模板 文件 里 面 标注 出 需要 国际 化 的 字符 串 ， 如 下 : 


HttpResponse 
mport render t sponse 
lation import text lazy as. 


Spo 


current datetime.html',('current date':now]) 


<P>It is now(( current date }}. (template based) .</P> 

XP»testl($trans 'this 1s a trans test' %}</P> 

«P»test2(S$blocktrans$]It is now{{ current date )) - ($endblocktrans$]«/P» 
</body> 

</html> 


其 次 ， 在 站 点 目录 下 创建 一 个 “local” 目 录 ， 使 用 如 下 命令 将 标注 出 的 字符 串 提取 到 资源 文件 中 。 


mysite»django-admin.py makemessages -1 zh 


例如 : 


#:.\views.py:7 

msgid "Hello world" 

msgstr "" 
#:.\templates\current_datetime.html:5 
msgid "this is a trans test" 

msgstr "" 
#:.\templates\current_datetime.html:7 
#, python-format bi 

msgid " It is now $(current date)s." 
msgstr " " 


Ozz 如 果 用 户 碰 到 如 图 4-7 所 示 的 错误 ， 可 下 载 并 安装 xgettext 库 文件 gettext-runtime-X.zip 和 gettext-tools-X.zip， 下 载 地 址 为 : http://ftp.gnome.org/pub/gnome/binaries/win32/dependencies/ o 


E: *study*Django wljcodeNnysite»django-admin.py makemessages -1 zh 


ICommandError: Can't find xgettext. Make sure you have GNU gettext tools 8.15 or neuer installed 


图 4-7 报错 界面 


接着 ， 将 资源 文件 中 的 空白 消息 蔡 换 成 翻译 好 的 文本 ， 并 下 


新 编译 资源 文件 。 


mysite»django-admin.py compilemessages 


还 有 ， 不 要 忘记 将 Django 配 置 成 能 理解 国际 化 。 在 setting.py 中 做 如 下 修改 。 


打开 国际 化 功能 : 


USE I18N = True 


设 定语 言 包 目录 : 


LOCALE PATHS — ( 
mysite/local 
) 


最 后 ， 加 入 国际 化 中 间 件 LocaleMiddleware: 


MIDDLEWARE CLASSES = 

( 'django.contrib.sessions.middleware.SessionMiddleware!, 
'django.middleware.locale.LocaleMiddleware', 
'django.middleware.common.CommonMi ddleware', 
'django.middleware.csrf.CsrfViewMiddleware', 
'django.contrib.auth.middleware.AuthenticationMiddleware', 
'django.contrib.messages.middleware.MessageMiddleware', 
'django.middleware.clickjacking.XFrameOptionsMiddleware!,) 


4.3.3 ” 玩 转 Horizon 


上 文 提 到 的 Horizon 管 理工 具 manage.py 位 于 /usrshare/openstack-dashboard 目 录 下 ， 输 入 命令 : 


Python manage.py startpanel [panelname] 
--dashboard-dashboardname (Horizon.dashboards.syspanel/nova/ 
setting) --taget-auto 


即 可 在 Dashboard 中 创建 一 个 新 的 面板 。 类 似 的 ， 也 可 以 通过 命令 : 


E 


python manage.py startdash [dashname] 


来 创建 一 个 新 的 Dashboard。 关 于 其 具体 实现 原理 ， 读 者 可 自行 阅读 /usr/lib/python2.6/site-packages/horizon/management/commands 中 的 代码 来 理解 ， 本 文 不 再 歼 述 。 


Horizon 自 带 的 Django 应 用 如 图 4-8 所 示 。 


通过 以 上 命令 创建 好 面板 后 ， 用 户 会 发 现在 /usr/lib/python2.6/site-packages/horizon/dashboards/syspanel (或 nova/setting) 目录 已 经 创建 好 了 一 个 上 文 提 到 过 的 标准 Django 应 用 目录 结构 。 


首先 ， 必 须 在 dashboards.py 里 手动 将 用 户 刚才 创建 的 面板 名 加 入 。 这 样 ，SystemPanels 类 的 panels 列 表 才 能 生效 ， 如 图 4-9 所 示 。 


'apenstack dashboard', 
'django.contrib.contenttypes' 
'django.contrib.auth', 
'django.contrib.sessions', 
'django.contrib.messages', 
'django.contrib.sbtaticrileas', 
"django.contrib.humanize'"', 
!compressor', 

horizon", 
'horizon.dashboards.nova', 
"horizon.dashboards.syspanel' 
'horizon.dashboards.settings' 


'Openstack auth', 


图 4-8 Horizon B 4f 44 Django JH 


class SystemPanels (horizon.PanelGroup): 
slug = 
name 
panels 


图 4-9 加 入 面板 


其 次 ， 在 urls.py 中 定义 面板 对 应 的 URL 模 式 ， 如 图 4-10 所 示 。 


from django.conf.urls.defaults import patterns, url 
from .views import IndezView 


Bripastterns — patterns(' das 2 J. 
url(r'^*', IndexView.as view(), name-'ir 


) 


图 4-10 定义 URL 模 式 
接着 ， 要 在 tables.py 中 定义 对 应 的 数据 结构 ， 如 图 4-11 所 示 。 


其 中 的 ugettext_lazy 模 块 是 负责 文本 的 国际 化 的 ， 定 义 的 数据 类 必须 继承 自 tables.DataTable。 


如 果 想 定义 一 个 下 拉 列 表 ， 通 常 还 需要 编写 一 个 Meta 类 来 定义 列表 里 的 文本 和 对 应 的 动作 (tables.py 中 自 带 的 文档 详细 说 明了 定义 的 格式 ) ， 如 图 4-12 所 示 。 


最 后 ， 为 了 将 数据 结果 展示 出 来 ， 需 要 修改 view.py 文 件 定义 对 应 的 View， 如 图 4-13 所 示 。 


django.utils.translation import ugettext lazy 


from horizon import api 


from horizon import tables 
logging.getLogger( name 


class ShawnTable(tables.DataTable): 
name = tables.Column('nams',verbose name= ('F 
vcpus = tables.Column('vcprus',verbose name— 
disk = tables.Column('disk',verbose name= ('F 


class Meta: 
name = 'f1 
verbose name= 


图 4-11 定义 数据 结构 


class Meta: 

name 一 "instances 

verbose name 

status columns — [" 

row class — UpdateRow 

table actions — (LaunchLink, TerminateInstance) 

row actions — (CreateSnapshot, AssociateIP, EditInstance, ConsoleLink, 
LogLink, TogglePause, ToggleSuspend, RebootInstance, 
TerminateInstance) 


图 4-12 ”编写 Meta 类 


lass IndexView(tables.DataTableView): 
table class — ShawnTable 
template name = 'syspanel/she 
def get data(self): 


request-self.request 
flavors-[] 
try: 
flavors = api.flavor list (request) 
except: 
Bxceptions.handie(request, (': 


图 4-13 ”修改 view.py 文 件 定义 对 应 的 View 


其 中 变量 table_class 和 变量 template_name 分 别 指向 对 应 的 数据 表 和 HTML 模 板 。 一 般 来 说 ， 只 需要 在 get_data 方 法 里 面 调用 Horizon API (例如 flavor list、flavor_get、floating_ip_pools lists 等 。 
可 参考 /usr/lib/python2.6/site-packages/horizon/api) 或 其 他 Linux 命 令 获取 相应 的 数据 ， 再 填 入 模板 文件 对 应 的 变量 即 可 。 


在 做 完 所 有 这 些 修改 后 ， 重 启 Apache 并 刷新 Dashboard， 自 定义 的 面板 就 会 展现 出 来 。 


第 5 章 ”Keystone 认 证 组 件 


5.1 ”认证 组 件 Keystone 介 绍 


5.1.1 基本 概念 


Keystone 主 要 有 两 个 关键 的 功能 : 


“ 用 户 管理 : 控制 、 管 理 、 追 踪 用 户 的 访问 权限 。 


“ 服务 目录 管理 : 提供 哪些 服务 目录 可 以 访问 ， 并 提供 服务 的 访问 URL 及 服务 最 终 定位 。 


Keystone 服 务 有 以 下 几 个 重要 概念 需要 理解 。 


: 用户 (User) 


个 人 、 系 统 或 服务 的 一 个 数字 化 表现 形式 ， 来 决定 谁 可 以 使 用 OpenSstack。 当 用 户 发 来 访问 请 求 时 ，Keystone 将 验证 输入 请 求 。 用 户 通过 Keystone 发 放 的 令 牌 来 访问 各 个 Openstack 服 务 资源 。 用 户 


可 以 被 分 配给 特定 的 租户 ， 以 获得 租户 下 的 访问 权限 。 


“ 证书 (Credentials) 


数据 只 被 数据 的 所 有 者 知道 ,数据 所 有 者 可 以 证 明 数 据 是 自己 的 ， 因 为 通常 情况 下 不 会 有 其 他 人 知晓 数据 的 存在 。 


例如 : 
“ 匹配 的 用 户 名 、 密 码 。 
“ 匹配 的 用 户 名 、API 访 问 密 钥 。 
“ 你 的 驾照 和 你 的 照片。 
“ 一 个 除了 你 没有 其 他 人 知道 的 通信 令 牌 。 


' 认证 (Authentication) 


户 名 及 密码 。 初 次 确认 身份 


在 身份 认证 服务 的 环境 中 ， 认 证 是 确认 用 户 真实 身份 的 行为 。 身 份 认证 服务 会 确认 谁 正在 发 送 服务 请 求 。 初 次 的 身份 请 求 将 通过 一 系列 凭证 来 确认 用 户 身份 ， 如 密 钥 对 、 
通过 后 ， 用 户 可 以 获得 身份 认证 服务 的 访问 令 牌 ， 通 过 令 牌 来 表明 自己 的 身份 。 


- 令 牌 (Token) 


， 人 允许 访问 OpenStack 范 围 内 的 服务 资源 。 访 问 令 牌 具有 时 间 限 制 、 持 续 时 间 ， 并 且 可 以 在 任意 时 间 里 撤销 令 牌 。 这 些 都 可 


令 牌 是 一 个 任意 比特 位 的 文本 ， 用 来 访问 资源 。 每 个 令 牌 都 有 一 个 访问 范围 
以 通过 Keystone 参 数 配置 ， 以 满足 各 种 各 样 的 访问 需求 。 


虽然 Keystone 目 前 是 基于 令 牌 访问 的 ， 但 Keystone 的 最 终 目的 是 在 未 来 支持 各 式 各 样 的 协议 ， 因 此 它 被 设计 成 最 前 端的 服务 集成 ， 而 不 是 一 个 完整 的 身份 存储 、 管 理解 决 方案 。 


“租户 (Tenant) 


于 分 组 或 分 离 的 资源 和 /或 标识 对 象 的 容器 。 根 据 不 同 的 服务 运营 商 ， 租 客 可 以 映射 到 一 个 客户 、 账 户 、 组 织 或 项 目 。 


“服务 (Service) 


一 个 OpenStack 服 务 ， 如 Nova、Cinder、Neutron、Glance、Swift 等 。 一 个 服务 提供 一 个 或 多 个 访问 端点 ， 用 户 通 过 访问 端点 访问 资源 或 执行 可 能 有 用 的 操作 。 


- 访问 端点 (Endpoint) 


一 个 可 通过 网 络 访问 的 地 址 ， 通 常 由 可 访问 服务 的 URL 来 描述 。 如 果 基于 模板 扩展 ， 可 以 创建 一 个 访问 端点 的 模板 。 这 个 模板 中 指定 了 所 有 服务 的 可 访问 域 。 


:角色 (Role) 


个 性 化 的 用 户 可 执行 一 组 特定 的 操作 。 角 色 包 括 一 组 权利 和 特权 。 如 果 用 户 担当 某 一 角色 ， 就 可 以 继承 角色 的 权利 和 特权 。 


在 Keystone 服 务 中 ， 发 放 的 令 牌 (Token) 决定 了 用 户 的 角色 ， 包 括 一 系列 的 权限 。 用 户 调用 的 服务 诠释 了 用 户 的 角色 具体 操作 权利 ， 即 哪些 操作 可 以 ， 哪 些 操作 不 可 以 。 


5-1 所 示 。 


[ 


Keystone 的 身份 验证 流程 如 


用 户 /应 用 程序 接口 1) 皮特 想 要 创建 一 台 虚 拟 机 Keystone 认 证 服务 3) Keystone 相 关 服 务 信息 用 户 /应 用 程序 接口 
发 送 凭 证 
O 创建 临时 令 牌 
发 送 服务 目录 


根据 期 望 的 租户 发 送 赁 证 O 


Keystone 返 回 可 访问 的 服务 
选择 正确 的 访问 令 牌 
提供 租户 令 牌 


服务 端口 创 随 请 求 
建 虚拟 机 发 送 


2) 皮特 想 要 确认 所 有 租户 信息 
携带 临时 令 牌 发 送 请 求 
返回 所 有 租户 队列 信息 


5) Keystone 相 关 服 务 信息 Keystone 认 证 服务 4) 服务 验证 令 牌 信息 服务 访问 端口 
皮特 的 租户 被 授权 可 以 访问 该 服务 令 牌 是 否 正确 
请 求 携带 令 牌 / F. 
令 牌 是 否 具有 该 服务 的 访问 权限 


令 牌 属于 皮特 这 位 用 户 


6) PISTE 7) 服务 反馈 请 求 处 理 情 况 用 户 /应 用 程序 接口 


& 


服务 创建 一 台新 的 虚拟 机 服务 已 经 创建 


皮特 可 以 访问 虚拟 机 


图 5-1 Keystone 的 身份 验证 流程 


512 用户 管理 


用 户 身份 管理 有 以 下 三 个 主要 概念 : 
ZI 
-租户 
EI 
这 里 的 用 户 代表 一 个 真实 的 人 类 用 户 ， 并 有 一 系列 相关 信息 ， 如 用 户 名 、 密 码 、 电 子 邮 件 等 。 


例如 ， 创 建 一 个 用 户 petter， 密 码 为 openstack， 电 子 邮 件 地 址 为 petter@example.com， 其 代码 如 下 : 


$ keystone user-create --name-putter --pass-openstack --email- petter(example.com 


租户 可 以 看 做 是 一 个 项 目 、 团 体 或 组 织 。 当 发 出 请 求 到 Openstack 的 服务 时 ， 必 须 指定 一 个 租户 。 例 如 ， 如 果 查 询 运 行 实例 列表 的 计算 服务 ， 那 么 将 收 到 所 有 在 查询 中 指定 的 租户 正在 运行 的 实例 的 列 


人 多 注意， 早期 版 本 中 使 用 project 来 代替 现在 的 租户。 


例如 ， 创 建 一 个 名 为 “OpenStack 实 战 ”的 租户 ， 其 代码 如 下 : 


keystone tenant-create --name-OpenStack 
实战 


角色 决定 给 定 租户 的 用 户 执行 什么 样 的 操作 。 


例如 ， 创 建 一 个 compute-user 角 色 ， 其 代码 如 下 : 


keystone role-create --name-compute-user 


注意 ， 角 色 由 具体 的 服务 来 赋予 其 真正 的 含义 ， 对 于 Keystone 而 言 ， 角 色 只 是 一 个 标记 。 


Keystone 中 可 以 关联 租户 与 用 户 的 关系 ， 继 续 前 面 的 例子 ， 将 用 户 petter 指 定 到 “OpenStack 实 战 ” 租 户 中 ， 其 代码 如 下 : 


$ keystone user-list 


4-------- 4--------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4-------- 十 
| id | enabled | email | name | 
4-------- 4--------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4-------- 

| 892585 | True | petterGexample.com| petter| 

4-------- 4--------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4-------- 十 
$ keystone role-list 

4-------— 二- 一 一 一 一 -一 -一 一 一 一 一 一 十 


9a764e | compute-user | 


4--—-----— 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 

$ keystone tenant-list 

4--------— 4------------- 4--------- 十 
id | name | enabled | 

4-------- 4------------- 4--------- 十 

6b8fd2 |OpenStack 
实战 | True | 
4-------- 4------------- 4--------- 


4 
$ keystone user-role-add --user-892585 --role-9a764e --tenant-id-6b8fd2 


户 可 以 在 不 同 的 租户 承担 不 同 的 角色 。 例 如 ，petter 也 可 以 在 A 公 司 里 承担 cloud developer 角 色 。 


一 个 用 户 也 可 以 在 一 个 租户 下 承担 多 种 角色 。 例 如 ，petter 不 仅 在 A 公司 里 承担 cloud developer 角 色 ， 同 时 也 承担 cloud admin 角 色 。 这 种 身份 模式 在 云 中 很 常见 。admin 和 developer 有 明显 的 角色 
差异 ， 例 如 developer 只 能 访问 自己 开发 用 的 云 主 机 ， 不 能 进行 管理 操作 ， 而 admin 可 以 管理 所 有 developer 的 云 主机 ， 但 它 没有 访问 云 主机 的 权限 。 细 化 用 户 角色 的 权限 ， 也 是 一 门 值得 探讨 的 学 问 。 


在 /etc/[SERVICE CODENAME]/policyjson 中 ， 控 制 用 户 可 以 对 指定 服务 进行 哪些 操作 。 例 如 ， 在 /etc/nova/policyjson 中 ， 指 定 计算 服务 的 访问 策略 ; 在 /etc/glance/policyjson 中 ， 指 定 镜像 服务 
的 访问 策略 ; 在 /etc/keystone/policyjson 中 ， 指 定 身份 服务 的 访问 策略 等 。 


在 Nova、Glance、Keystone 的 默认 policyjson 中 ， 访 问 策略 默认 只 有 admin 角 色 ， 所 有 不 需要 admin 操 作 的 访问 ， 将 由 租户 中 任何 用 户 、 任 何 角色 来 完成 。 


如 果 想 限制 用 户 访问 Nova 服 务 ， 需 要 先 在 Keystone 中 创建 相应 的 角色 ， 然 后 在 policyjson 中 修改 其 相应 的 访问 策略 。 


例如 ， 在 /etc/nova/policy.json 中 指定 用 户 可 以 无 限制 地 创建 volume。 任 意 租户 下 的 用 户 可 以 创建 volume， 其 代码 如 下 : 


"volume:create": [], 


如 果 只 限制 由 compute-user 角 色 来 创建 volume， 那 么 可 以 修改 成 以 下 配置 : 


"volume:create": ["role:compute-user"], 


513 ”服务 管理 


服务 管理 有 两 个 主要 概念 : 


“ 服务 


:访问 端点 


Keystone 服 务 与 其 他 OpenStack 服 务 一 样 ， 对 外 暴露 基础 服务 能 力 。 使 用 “keystone service-create” 命 令 创建 服务 ， 其 代码 如 下 : 


keystone service-create --name-nova \ 
--type-compute V 

--description-"Nova Compute Service" 
keystone service-create --name-ec2 \ 
--type-ec2 \ 

--description-"EC2 Compatibility Layer" 
keystone service-create --name-glance \ 
--type-image VN 

--description-"Glance Image Service" 
keystone service-create --name-keystone V 
--type-identity \ 
--description-"Keystone Identity Service" 
keystone service-create --name-swift \ 
--type-object-store V 
--description-"Swift Service" 


第 5 章 ”Keystone 认 证 组 件 


5.1 ”认证 组 件 Keystone 介 绍 


5.1.1 基本 概念 


Keystone 主 要 有 两 个 关键 的 功能 : 


“ 用 户 管理 : 控制 、 管 理 、 追 踪 用 户 的 访问 权限 。 
“ 服务 目录 管理 : 提供 哪些 服务 目录 可 以 访问 ， 并 提供 服务 的 访问 URL 及 服务 最 终 定位 。 


Keystone 服 务 有 以 下 几 个 重要 概念 需要 理解 。 


- 用户 (User) 


个 人 、 系 统 或 服务 的 一 个 数字 化 表现 形式 ， 来 决定 谁 可 以 使 用 Openstack。 当 用 户 发 来 访问 请 求 时 ，Keystone 将 验证 输入 请 求 。 用 户 通过 Keystone 发 放 的 令 牌 来 访问 各 个 Openstack 服 务 资源 。 用 户 
可 以 被 分 配给 特定 的 租户 ， 以 获得 租户 下 的 访问 权限 。 


:证书 (Credentials) 


数据 只 被 数据 的 所 有 者 知道 ， 数 据 所 有 者 可 以 证 明 数 据 是 自己 的 ， 因 为 通常 情况 下 不 会 有 其 他 人 知晓 数据 的 存在 。 
例如 : 
“ 匹配 的 用 户 名 、 密 码 。 


: 匹配 的 用 户 名 、API 访 问 密 钥 。 


“ 你 的 驾照 和 你 的 照片 。 
“ 一 个 除了 你 没有 其 他 人 知道 的 通信 令 牌 。 
- 认证 (Authentication) 


在 身份 认证 服务 的 环境 中 ， 认 证 是 确认 用 户 真 实 身份 的 行为 。 身 份 认证 服务 会 确认 谁 正在 发 送 服务 请 求 。 初 次 的 身份 请 求 将 通过 一 系列 凭证 来 确认 用 户 身份 ， 如 密 钥 对 、 用 户 名 及 密码 。 初 次 确认 身份 
通过 后 ， 用 户 可 以 获得 身份 认证 服务 的 访问 令 牌 ， 通 过 令 牌 来 表明 自己 的 身份 。 


- 4M (Token) 


令 牌 是 一 个 任意 比特 位 的 文本 ， 用 来 访问 资源 。 每 个 令 牌 都 有 一 个 访问 范围 ， 允 许 访问 OpenStack 范 围 内 的 服务 资源 。 访 问 令 牌 具有 时 间 限制 、 持 续 时间 ， 并 且 可 以 在 任意 时 间 里 撤销 令 牌 。 这 些 都 可 
以 通过 Keystone 参 数 配 置 ， 以 满足 各 种 各 样 的 访问 需求 。 


虽然 Keystone 目 前 是 基于 令 牌 访问 的 ,但 Keystone 的 最 终 目的 是 在 未 来 支持 各 式 各 样 的 协议 ， 因 此 它 被 设计 成 最 前 端的 服务 集成 ， 而 不 是 一 个 完整 的 身份 存储 、 管 理解 决 方案 。 


“租户 (Tenant) 


用 于 分 组 或 分 离 的 资源 和 /或 标识 对 象 的 容器 。 根 据 不 同 的 服务 运营 商 ， 租 客 可 以 映射 到 一 个 客户 、 账 户 、 组 织 或 项 目 。 

“ 服务 (Service) 

一 个 OpenStack 服 务 ， 如 Nova、Cinder、Neutron、Glance、Swift 等 。 一 个 服务 提供 一 个 或 多 个 访问 端点 ， 用 户 通 过 访问 端点 访问 资源 或 执行 可 能 有 用 的 操作 。 
- 访问 端点 (Endpoint) 

一 个 可 通过 网 络 访问 的 地 址 ， 通 常 由 可 访问 服务 的 URL 来 描述 。 如 果 基于 模板 扩展 ， 可 以 创建 一 个 访问 端点 的 模板 。 这 个 模板 中 指定 了 所 有 服务 的 可 访问 域 。 

“ 角色 (Role) 


个 性 化 的 用 户 可 执行 一 组 特定 的 操作 。 角 色 包 括 一 组 权利 和 特权 。 如 果 用 户 担当 某 一 角色 ， 就 可 以 继承 角色 的 权利 和 特权 。 


在 Keystone 服 务 中 ,发放 的 令 牌 (Token) 决定 了 用 户 的 角色 ， 包 括 一 系列 的 权限 。 用 户 调用 的 服务 诠释 了 用 户 的 角色 具体 操作 权利 ， 即 哪些 操作 可 以 ， 哪 些 操作 不 可 以 。 


Keystone 的 身份 验证 流程 如 图 5-1 所 示 。 


用 户 /应 用 程序 接口 1) 皮特 想 要 创建 一 台 虚 拟 机 Keystone 认 证 服务 3) Keystone 相 关 服务 信息 用 户 /应 用 程序 接口 


发 送 凭证 


创建 临时 令 牌 


发 送 服务 目录 根据 期 望 的 和 户 发 送 赁 证 O 


p 回 可 访问 的 服务 


选择 正确 的 访问 令 牌 
提供 租户 令 牌 


服务 端口 创 | | piik 
建 虚拟 机 发 送 


5) Keystone 相 关 服 务 信 息 Keystone 认 证 服务 4) 服务 验证 令 牌 信息 服务 访问 端口 


V 2) 皮特 想 要 确认 所 有 和 户 信息 
携带 临时 令 牌 发 送 请 求 


返回 所 有 租户 队列 信息 


皮特 的 租户 被 授权 可 以 访问 该 服务 今 牌 是 否 正确 
O 请 求 携带 令 牌 ZJ p 
— 令 牌 是 否 具有 该 服务 的 访问 权限 


令 牌 属于 皮特 这 位 用 户 


6) 服务 处 理 该 请 求 7) 服务 反馈 请 求 处 理 情况 用 户 /应 用 程序 接口 


服务 已 经 创建 O 


皮特 可 以 访问 虚拟 机 


服务 创建 一 台新 的 虚拟 机 


5-1 Keystone 的 身份 验证 流程 


51.2 APER 
用 户 身份 管理 有 以 下 三 个 主要 概念 : 
LL 


.租户 


“角色 


这 里 的 用 户 代表 一 个 真实 的 人 类 用 户 ， 并 有 一 系列 相关 信息 ， 如 用 户 名 、 密 码 、 电 子 邮 件 等 。 


例如 ， 创 建 一 个 用 户 petter， 密 码 为 openstack， 电 子 邮件 地 址 为 petter@example.com， 其 代码 如 下 : 


$ keystone user-create --name-putter --pass-openstack --email- petter(example.com 


户 可 以 看 做 是 一 个 项 目 、 团 体 或 组 织 。 当 发 出 请 求 到 Openstack 的 服务 时 ， 必 须 指定 一 个 租户 。 例 如 ， 如 果 查 询 运行 实例 列表 的 计算 服务 ， 那 么 将 收 到 所 有 在 查询 中 指定 的 租户 正在 运行 的 实例 的 列 


gi 


Quis sapori pj REREH. 


例如 ， 创 建 一 个 名 为 “Openstack 实 战 ”的 租户 ， 其 代码 如 下 : 


keystone tenant-create --name-OpenStack 
实战 


角色 决定 给 定 租户 的 用 户 执行 什么 样 的 操作 。 


例如 ， 创 建 一 个 compute-user 角 色 ， 其 代码 如 下 : 


keystone role-create --name-compute-user 


注意 ， 角 色 由 具体 的 服务 来 赋予 其 真正 的 含义 ， 对 于 Keystone 而 言 ， 角 色 只 是 一 个 标记 。 


Keystone 中 可 以 关联 租户 与 用 户 的 关系 ， 继 续 前 面 的 例子 ， 将 用 户 petter 指 定 到 “Openstack 实 战 ”租户 中 ， 其 代码 如 下 : 


$ keystone user-list 


4-------- 十 一 一 一 一 -一 -一 十 一 -一 一 一 -一 -一 -一 -一 -一 -一 十 ~ 一 一 一 一 一 一 一 4 
id enabled | email | name | 
一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 -一 一 十 
892585 True | petterGexample.com| petter| 
4-------- 4--------- 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 十 
$ keystone role-list 
4-------- 4-------------- 十 
id name | 
4-------- 4-------------- 十 
9a764e compute-user | 
二 -一 -一 -一 -一 十 一 一 一 -一 -一 -一 一 一 -一 十 
$ keystone tenant-list 
一 一 一 一 一 -一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 -一 一 一 十 
id name | enabled | 
4-------- 十 一 -一 -一 -一 -一 一 -一 十 一 -一 一 一 -一 -一 十 
6b8fd2 |OpenStack 
实战 | True | 
T------- 十 一 一 一 -一 -一 -一 -一 -一 十 一 一 一 -一 -一 -一 + 
$ keystone user-role-add --user=892585 --role=9a764e --tenant-id=6b8fd2 
户 可 以 在 不 同 的 租户 承担 不 同 的 角色 。 例 如 ，petter 也 可 以 在 A 公司 里 承担 cloud developer 6. 


一 个 用 户 也 可 以 在 一 个 租户 下 承担 多 种 角色 。 例 如 ，petter 不 仅 在 A 公司 里 承担 cloud developer 角 色 ， 同 时 也 承担 cloud admin 角 色 。 这 种 身份 模式 在 云 中 很 常见 。admin 和 developer 有 了 明显 的 角色 
差异 ， 例 如 developer 只 能 访问 自己 开发 用 的 云 主 机 ， 不 能 进行 管理 操作 ， 而 admin 可 以 管理 所 有 developer 的 云 主 机 ， 但 它 没 有 访问 云 主机 的 权限 。 细 化 用 户 角 色 的 权限 ， 也 是 一 门 值得 探讨 的 学 问 。 


在 /etc/[SERVICE CODENAME]/policyjson 中 ， 控 制 用户 可 以 对 指定 服务 进行 哪些 操作 。 例 如 ， 在 /etc/nova/policyjson 中 ， 指 定 计算 服务 的 访问 策略 ; 在 /etc/glance/policyjson 中 ， 指 定 镜像 服务 
的 访问 策略 ; 在 /etc/keystone/policyjson 中 ， 指 定 身份 服务 的 访问 策略 等 。 


在 Nova、Glance、Keystone 的 默认 policy.json 中 ， 访 问 策略 默认 只 有 admin 角 色 ， 所 有 不 需要 admin 操 作 的 访问 ， 将 由 租户 中 任何 用 户 、 任 何 角色 来 完成 。 


如 果 想 限制 用 户 访问 Nova 服 务 ， 需 要 先 在 Keystone 中 创建 相应 的 角色 ， 然 后 在 policyjson 中 修改 其 相应 的 访问 策略 。 


例如 ， 在 /etc/nova/policy.json 中 指定 用 户 可 以 无 限制 地 创建 volume。 任 意 租户 下 的 用 户 可 以 创建 volume， 其 代码 如 下 : 


"volume:create": [], 
如 果 只 限制 由 compute-user 角 色 来 创建 volume， 那 么 可 以 修改 成 以 下 配置 : 


"volume:create": ["role:compute-user"], 


5.1.3 ”服务 管理 


服务 管理 有 两 个 主要 概念 : 


“ 服务 


:访问 端点 


Keystone 服 务 与 其 他 OpenStack 服 务 一 样 ， 对 外 暴露 基础 服务 能 力 。 使 用 “keystone service-create" 命令 创建 服务 ， 其 代码 如 下 : 


keystone service-create --name-nova \ 
--type-compute V 

--description-"Nova Compute Service" 
keystone service-create --name-ec2 \ 
--type-ec2 \ 

--description-"EC2 Compatibility Layer" 
keystone service-create --name-glance \ 
--type-image \ 

--description-"Glance Image Service" 
keystone service-create --name-keystone V 
--type-identity \ 
--description-"Keystone Identity Service" 
keystone service-create --name-swift \ 
--type-object-store \ 


--description-"Swift Service" 


5.22 ”配置 文件 及 参数 选项 


理解 了 Keystone 的 基本 概念 及 结构 后 ， 可 以 进一步 了 解 Keystone 的 配置 文件 、 参 数 选项 等 内 容 。 安 装 Keystone 后 就 会 有 几 个 配置 文件 默认 安装 在 /etc/keystone 下 ， 
如 /etc/keystone/keystone.conf、/etc/keystone/paste.ini。 


身份 认证 服务 配置 文件 keystone.conf 是 INI 格 式 的 文件 ， 在 [DEFAULT] 配 置 一 般 的 默认 配置 项 ， 而 特定 部 分 ， 如 [SQLI、[EC2] 部 分 ， 可 按照 需求 进行 自 定义 配置 。 
keystone.conf 配 置 文件 配置 项 : 

- [DEFAULT]: 常规 配置 。 

“ [SQL]: 可 选 的 存储 后 端 配置 。 

: 区 C2]: 亚马逊 EC2 认 证 驱动 程序 配置 。 

“ [53]: 亚 马 过 5S3 的 认证 驱动 程序 配置 。 

* [oauth1]: OAuth 1.0a 的 系统 驱动 程序 的 配置 。 
* [identity]: 识别 系统 驱动 程序 配置 。 

* [catalogi: 服务 目录 驱动 程序 配置 。 

“ [token]: 令 牌 驱动 程序 和 令 牌 提供 程序 配置 。 
“ [ache]: 缓存 层 配置 。 

- [policy]: RBAC 策 略 驱动 程序 的 配置 。 

- [signing]: 加 密 签 名 的 基于 PKI 的 令 牌 。 

< [SSH]: SSL 配 置 。 

“ puth]: 授权 插件 配置 。 

“ [os inherit]: 继承 的 角色 分 配 扩 展 。 

“ [endpoint filter]: 服务 访问 地 址 过 滤 扩 展 配置 。 


* [paste deploy]: 指向 PasteDeploy 配 置 文件 。 


* [federation]: federation 驱 动 程序 配置 。 


启动 Keystone 服 务 ， 可 以 使 用 --config-file 参 数 来 指定 一 个 配置 文件 。 如 果 没 有 指定 配置 文件 的 详细 位 置 ， 那 么 Keystone 服 务 将 以 如 下 顺序 寻找 keystone.conf 文 件 。 


~/.keystone/keystone.conf 
^/keystone.conf 
/etc/keystone/keystone.conf 
/etc/keystone.conf 
keystone-paste.ini 


/etc/keystone/keystone-paste.ini 文 件 为 Keystone 服 务 的 WSGI 中 间 件 配置 文件 。 


5.2.1 keystone.conf 配 置 文件 示例 


下 面 是 一 个 keystone.conf 配 置 文件 的 代码 示例 。 


[DEFAULT] 

# 

一 个 共享 密 钥 可 以 用 来 引导 Keystone 
# 


这 个 Token 
不 能 代表 一 个 用 户 ， 并 且 无 法 进行 明确 授权 


强烈 建议 在 生产 环境 中 禁用 。 
# 


从 keystone-paste.ini 

去 除 AdminTokenAuthMiqddleware 
配置 即 可 禁用 

# admin token = ADMIN 


# 
网 卡 设备 监听 的 IP 
地 址 


# public bind host = 0.0.0.0 
# admin bind host = 0.0.0.0 
# public ` 

服务 的 监听 端口 

# public port = 5000 

# public admin 

服务 监听 端口 

# admin port = 35357 


+ 
告知 客户 端的 基础 访问 入 口 
* 


i 并 不 影响 keystone 


服务 如 何 监听 连接 ， 只 是 告知 客户 端的 访问 入 口 ) 

# public endpoint = http: // localhost:$ (public port)s/ 
# admin endpoint = http: // localhost:$ (admin port)s/ 
#OpenStack Compute 

服务 监听 端口 


# compute port = 8774 


# 
自 定义 访问 策略 的 文件 路 径 
# policy file = policy.json 


t 
默认 访问 策略 的 规则 检测 
# policy default rule = admin required 


+ 

迁移 成 员 关 系 的 规则 

# member role id = 9fe2ff9ee4384b1894a90878d3e92bab 
# member role name = member 


t 
通过 可 选 的 中 间 件 执行 请 求 大 小 限制 (keystone.middleware:RequestBodySizeLimiter) 
# max request body size = 114688 


+ 

租户 、 用 户 的 ID 
~a name 

大 小 限制 


# max param size = 64 


1 
类 似 于 max param size 
， 并 有 标记 异常 位 “ 


# max token size = 8192 


# 

(tH sqlite 

的 文件 名 

# sqlite db = keystone.db 


# 

如 果 为 true 

， 则 使 用 sqlite 
步 模式 


sqlite_synchronous = True 


+ + T] 


志 选 项 === 


印 DEBUG 
E 


# ( 

包括 明文 请 求 日 志 记 录 ， 可 能 包括 密码 ) 
# debug = False 

# 


印 更 详细 的 日 志 输 出 


verbose = False 


志文 件 名 ， 如 果 没 有 设置 ， 则 会 被 当做 标准 输出 stdout 
# log file = keystone.log 


4 

保存 日 志文 件 目录 ( 

将 被 追加 到 服务 启动 参数 --logfile) 
# log dir = /var/log/keystone 
# 
使 用 syslog 

记录 日 志 

# use syslog = False 

# syslog 

kE HL 

# syslog_log_facility = LOG USER 
# 


志 输 出 等 级 :项目 = 

, X5 

fdefault log levels-amqp-WARN, amqplib-WARN,boto-WARN, keystone-INFO, qpid-WARN, sq 
lalchemy-WARN, suds-INFO 


3 


w 


EE 


t 志 配 置 文件 的 名 称 。 

蕊 不 会 禁用 现 有 的 记录 器 ， 

ET 加 指定 的 记录 配置 到 任何 其 他 现 有 的 记录 选项 。 
ew Python 


志 记 录 模 块 文档 的 详细 信息 。 


# 

习 志 记录 配置 文件 = 

字符 串 值 ) 
#log_config_append=<None> 
# 
一 个 logging.Formatter 


志 信息 的 格式 ， 可 以 使 用 任何 字符 串 


# 
支持 logging.LogRecord 


# log format = $(asctime)s $(levelname)8s [$(name)s] $(message)s 


# 

格式 化 日 志 时 间 

# log date format = $Y-$m-$d $H:$M:$S 
# onready 


IT fe Vr PH dE BUE AS S RUNE REE 


例如 ， 要 使 用 systemd 

通知 ， 可 以 设置 Shel1 

命令 : 

# onready = systemd-notify --ready 


+ 
或 者 一 个 模块 支持 notify () 
Jk: 


# onready = keystone.common.systemd 


[ul 
za 
& 
E 

r 


# 

当 用户 或 项 目 创建 、 更 新 、 删 除 时 ， 会 发 送 通知 
t 

这 里 有 三 种 方法 发 送 通知 : 


日 志 ( 

通过 日 志文 件 指令 ) 
、RPC( 
rU) 


和 no op ( 
默认 页 没有 通知 ) 
# notification driver 


通知 驱动 可 以 被 定 又 多 次 


t 
什么 都 不 做 ( 
默认 ) 


# notification driver = keystone.openstack.common.notifier.no op notifier 


# 

日 志 驱 动 示例 ( 

默认 为 不 启用 ) 

# notification driver = keystone.openstack.common.notifier.log notifier 
# RPC 

驱动 示例 ( 

默认 为 不 启用 ) 


# notification driver = keystone.openstack.common.notifier.rpc notifier 
t 

默认 发 送 通知 等 级 

# default notification level = INFO 
# 

默认 通知 发 送 ID 

# default publisher id = 

t 

当 使 用 RPC 

消息 通知 时 AMQP topics 

的 设置 


# 

多 个 值 可 以 用 逗号 隔 开 来 指定 ， 如 R topic 
~ B topic 

4 


实际 RMOP topic 
可 以 是 $s.% (default notification level)s 
# notification topics = notifications 


+ RPC 
选项 
+ 


Xl T Keystone 


这 个 选项 只 有 在 RPC 
UE FAEM, 


默认 使 用 kombu 

消息 驱动 模块 

# rpc backend = keystone.openstack.common.rpc.impl kombu 
# RPC 

线程 池 大 小 

# rpc thread pool size = 64 

4 REC 

连接 池 大 小 


# rpc conn pool size = 30 


+ 

单 播 、 组 播 默认 请 求 超时 时 间 ， 单 位 为 秒 
# rpc response timeout = 60 

# cast 

过 期 等 待 时 间 (TTL) 

， 只 支持 impl_zmq 

# rpc cast timeout = 30 

# 

一 个 RPC 

请 求 发 送 异 常 时 ， 


t 

被 允许 重新 创建 接收 异常 数据 的 模块 

# allowed rpc exception modules = keystone.openstack.common.exception,nova.exc 
eption,cinder. 

exception, exceptions 


如 果 为 True 

， 则 使 用 假 的 RabbitMo 
模块 

# fake rabbit = False 


t 

使 用 RabbitMO 

或 opid 

的 AMOP exchange 

连接 

# control exchange = openstack 
pa 


a 
STUNT 前 于 连接 到 数据 库 


i ji [database] 
部 分 connection 


# connection = sqlite: // /keystone.db 
# 

空闲 连接 数 回收 超时 时 间 

t 

ik: Wi [database] 

部 分 idle_ timeout 

RË 

# idle_timeout = 200 

P 


ny 
的 连接 字 符 审 用 于 连接 到 数据 库 


connection = sqlite: // /keystone.db 


a 
IEEE RUD Tn Rd 


iur. Keystone 
EDT EE 


# slave connection = 


# 

空闲 连接 数 回收 超时 时 间 

# idle timeout = 3600 

# SOL 

连接 的 最 小 数 ， 以 保持 打开 连接 池 
# min pool size = 1 
# SOL 

连接 的 最 大 数 ， 以 保持 打开 连接 池 

T max pool size — 

在 启动 过 程 中 ， 数据 库 最 大 重 试 连接 数 〈 设 定 -1 
意味 着 无 限 的 重 试 次 数 ) 


# max retries = 10 


# 
打开 SQL 
连接 的 重 试 之 间 的 间隔 


# retry interval = 


Ld 
如 果 设 置 ， 则 使 此 值 与 SQLAlchemy 
nex. overflow 


# max overflow = 


表示 不 显示 调试 信息 ，100 

表示 显示 全 部 

# connection debug = 

t 

将 Python 

推进 踪 信 息 作为 注释 字符 串 添加 到 SQL 


# connection trace = False 


# 

如 果 设 置 ， 则 使 此 值 与 SQLAlchemy 

的 pool timeout 

相同 

# pool timeout = 

[identity] 

+ driver = keystone.identity.backends.sql.Identity 


EE 
Bins (这 是 不 知道 的 域 》。 


jus 该 ID 
ud A WEER keystone-manage db sync 


通过 这 个 ID 

所 引用 的 域 不 能 在 第 3 
版 的 API 

中 删除 ， 以 防止 不 小 心 破坏 第 2 
版 的 API 


t 

TE TOKEUSDERIEA LE A CLA UR ES 

以 维持 客户 端 对 第 2 

RAPI 

的 支持 。 

# default domain id = default 

t 

M IR (或 全 部 ) 都 可 以 有 自己 的 身份 驱动 程序 。 
T IURE 目录 中 有 自己 的 部 分 配置 文件 。 
TUER REEDE EE ENNER 
此 配置 功能 默认 情况 下 禁用 。 

# domain specific drivers enabled to True to enable. 


# domain specific drivers enabled = False 
# domain config dir = /etc/keystone/domains 


t 

用 户 密码 支持 最 大 长 度 ， 

用 来 提高 性 能 。 

# max password length = 4096 

credential] 

# driver = keystone.credential.backends.sql.Credential 
trust] 

# driver = keystone.trust.backends.sql.Trust 
# delegation 

1 impersonation 

功能 可 以 选择 禁用 

# enabled = True 

os inherit] 


4 

角色 分 配 继承 自 拥有 域 项 目 ， 可 以 选择 启用 
# enabled = False 

catalog] 


# 

动态 的 ， 基 于 SQL 
的 后 端 (支持 API/ 
基于 CLI 

的 管理 命令 ) 


# driver = keystone.catalog.backends.sql.Catalog 


t 

静态 的 ， 基 于 文件 的 后 端 

# driver = keystone.catalog.backends.templated.TemplatedCatalog 
# template file = default catalog.templates 

[endpoint filter] D 


t 

扩展 ， 以 便 为 项 目 范围 的 令 牌 请 求 提供 量 身 定制 的 目录 创建 项 目 和 端点 之 间 的 关联 。 

# driver = keystone.contrib.endpoint filter.backends.sql.EndpointFilter 
# return all endpoints if no filter = True 


[token] 


# 
提供 令 牌 的 持久 性 


# driver = keystone.token.backends.sql.Token 


# 
EMS: 验证 和 撤销 操作 


核心 提供 者 是 keystone.token.providers. [pki |uuid] .Provider 
# provider = 


t 
SUAE ARM ( 
D) 

# expiration = 3600 


+ 
ANE U A EAE 息 令 牌 


例如 kerberos 
，X509 
# bind = 


# Keystone 

aae Ua, 模式 如 kerberos 

或 X509 

需要 绑 定 认 证 

Li 

值 为 disabled, permissive, strict, required or a specifically required 
# enforce token bind = permissive 


t 

令 牌 特定 的 缓存 切换 

t 

这 没有 影响 ， 除 非 全 局 缓存 选项 设置 为 True 


# caching = True 


t 

令 牌 特定 的 缓存 时 间 的 生存 期 (TTL 

) ， 以 秒 为 单位 

# cache time = 

t 

撤销 名 录 特 定 的 缓存 时 间 的 生存 期 〈TTL 
) ， 以 秒 为 单位 

# revocation cache time = 3600 
[cache] 


1 
全 局 缓存 功能 切换 
# enabled = False 


t 
NePone NE SERIE 


除非 有 另 一 个 dogpile.cache 
区 域 具有 相同 配置 的 名 称 


# config prefix = cache.keystone 


默认 TTL 
， 以 秒 为 单位 的 dogpile .cache 
区 域 的 任何 缓存 项 


# 

可 为 任何 缓存 的 方式 定义 一 个 明确 的 缓存 过 期 时 间 
# expiration time = 600 

# dogpile.cache 

后 端 模 块 

# 

建议 在 生产 中 使 用 Memcache 


(dogpile.cache.memcache 
) 或 Redis 


(dogpile.cache.redis 


t 

小 负载 〈 单 进程 ) 就 像 devstack 

一 样 可 以 使 用 dogpile.cache.memory 

后 站 

# backend = keystone.common.cache.noop 


# 
传递 给 后 端 模块 参数 


# 

P 该 选项 ， 每 一 个 参数 将 会 传递 到 dogpile.cache 
后 让 

# 


示例 格式 : <argname>:<value> 
# backend argument = 


+ 
代理 类 的 导入 会 影响 dogpile.cache 
后 端 功能 


# 
参见 改变 后 端 行为 的 dogpile.cache 
文档 


# 

逗号 分 隔 的 列表 ， 如 my .dogpile.proxy.Class 
， my.dogpile.proxyClass2 

# proxies = 


t 
使 用 安全 散 列 算 法 (SHA1 
) ， 以 确保 缓存 的 键 值 为 固定 长 度 


t 
这 个 选项 用 于 调试 ， 强 烈 建议 总 是 将 它 设置 为 True 


# use key mangler = True 


# 
额外 调试 缓存 后 端 (cache keys 
» get/set/delete/etc calls) 


T 
AT TREE RIENE; 这 是 唯一 真正 有 用 获取 、 设 置 、 删 除 与 键 / 
Vs 


t 

通常 情况 下 设置 为 False 

# debug cache backend = False 

[policy] 

# driver = keystone.policy.backends.sql.Policy 


[ec2] 

# driver = keystone.contrib.ec2.backends.kvs.Ec2 
[assignment] 

# driver = 


t 
全 国信 中 局 生生 区 的 
这 没有 影响 ， 除 非 全 局 缓存 选项 设置 为 True 


# caching = True 


t 

分 配 特定 的 缓存 时 间 的 生存 期 (TTL 

) ， 以 秒 为 单位 

# cache time = 

[oauthl] 

# driver = keystone.contrib.oauthl.backends.sql.OAuthl 


t 
Aila REGTSIONRURTE 
如 果 没 有 这 样 的 属性 包括 在 内 ， 那 么 令 牌 持续 下 去 


# 
指定 请 求 令 牌 的 过 期 时 间 〔 以 秒 为 单位 》 
# request token duration = 28800 


# 

指定 访问 令 牌 的 过 期 时 间 〔 以 秒 为 单位 》 

# access token duration = 86400 

[federation] 

#driver = keystone.contrib.federation.backends.sql.Federation 
[ssl] 

fenable = True 

#certfile = /etc/keystone/ssl/certs/keystone.pem 

#keyfile = /etc/keystone/ssl/private/keystonekey.pem 
#ca_certs = /etc/keystone/ssl/certs/ca.pem 

#ca_key = /etc/keystone/ssl/private/cakey.pem 

#key size = 1024 

#valid days = 3650 

#cert required = False 

#cert subject = /C-US/ST-Unset/L-Unset/O-Unset/CN-localhost 
[signing] 


# 
依赖 于 [token] 
选项 中 的 供应 者 


Li 

允许 的 值 是 PKI 

或 UUID 

#token format = 

#certfile = /etc/keystone/ssl/certs/signing cert .pem 
#keyfile = /etc/keystone/ssl/private/signing key.pem 
$ca certs = /etc/keystone/ssl/certs/ca.pem ` 

fca key = /etc/keystone/ssl/private/cakey.pem 

#key size = 2048 

#valid days = 3650 

#cert subject = /C-US/ST-Unset/L-Unset/O-Unset /CN-www . example.com 
[1dap] 

url = ldap:// localhost 

user = dc-Manager, dc-example, dc-com 

password = None 

suffix = cn-example, cn-com 

use dumb member - False 

allow subtree delete = False 

dumb member = cn-dumib, dc-example, dc-com 


SIAIBACA Hom Re 零 值 表示 禁用 分 页 (默认 为 0 


de db de dE db de d E 


# page size = 0 
# LDAP 

非 关 联 项 查询 

# 'never' 
'searching' 
'always' 
'finding' 
'default' 

[以 使 用 


默认 选项 会 使 用 ldap .conf 

中 的 配置 

# alias dereferencing = default 

# LDAP 

范围 的 查询 

one (onelevel/singleLevel) or 'sub' (subtree/wholeSubtree) 
query scope - one 

user tree dn = ou-Users,dc-example, dc-com 
user filter - 

user objectclass = inetOrgPerson 

user id attribute - cn 


gm 
=| 


user_name_attribute = sn 
user mail attribute = email 
user pass attribute = userPassword 


user enabled attribute - enabled 
user enabled mask = 0 

user enabled default - True 

user attribute ignore = default project id,tenants 
user default project id attribute = 
user allow create - True 

user allow update = True 

user allow delete - True 

user enabled emulation = False 

user enabled emulation dn = 

tenant tree dn = ou-Projects,dc-example, dc-com 
tenant filter = 

tenant objectclass = groupOfNames 
tenant domain id attribute = businessCategory 
tenant id attribute - cn 

tenant member attribute = member 
tenant name attribute - ou 
tenant desc attribute = desc 

tenant enabled attribute = enabled 
tenant attribute ignore = 

tenant allow create = True 

tenant allow update - True 

tenant allow delete - True 

tenant enabled emulation = False 
tenant enabled emulation dn = 

role tree dn = ou-Roles,dc-example, dc-com 
role filter = 

role objectclass = organizationalRole 
role id attribute - cn 

role name attribute = ou 

role member attribute - roleOccupant 
role attribute ignore = 

role allow create - True 

role allow update - True 

role allow delete - True 

group tree dn - 

group filter = 

group objectclass - groupOfNames 
group id attribute = cn 

group name attribute = ou 

group member attribute = member 

group desc attribute = desc 

group attribute ignore = 

group allow create = True 

group allow update - True 

group allow delete = True 

ldap TLS options 


如 果 t1s_cacertfile 

fllHls cacertdir 

HH. Witls cacertfile 
将 被 使 用 


# tls req cert 

有 效 的 值 有 demand 

~ never 

和 allow 

use tls = False 

tls cacertfile = 

tls cacertdir = 

tls req cert - demand 

Additional attribute mappings can be used to map ldap attributes to internal 
keystone attributes. This allows keystone to fulfill ldap objectclass requirements. 
An example to map the description and gecos attributes to a user's name would be: 

# user additional attribute mapping = description:name, gecos:name 

# domain additional attribute mapping = 

* group additional attribute mapping — 

* 

# 

# 
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role additional attribute mapping = 
project additional attribute mapping = 
user additional attribute mapping — 

[auth] 7 

methods = external, password, token, oauthl 

#external = keystone.auth.plugins.external.DefaultDomain 

password = keystone.auth.plugins.password.Password 

token = keystone.auth.plugins.token.Token 

oauthl = keystone.auth.plugins.oauthl.OAuth 

[memcache] 

# servers = localhost:11211 

# max compare and set_retry = 16 

[kvs] 

# backends = 

# config_prefix = keystone.kvs 

# enable key mangler = True 

# KeyValueStore 

在 几 秒 钟 内 锁定 超时 

# default lock timeout = 5 

[paste_deploy] 

* 


'ÉGE X T paste 
配置 文件 的 名 称 


config file = keystone-paste.ini 


5.2.2 ”keystone-paste.ini 配 置 文件 示例 


下 面 是 一 个 keystone-paste.ini 配 置 文 件 的 代码 示例 。 


# Keystone PasteDeploy configuration file. 

filter:debug] 

paste.filter factory = keystone.common.wsgi:Debug.factory 

filter:build auth context] 

paste.filter factory = keystone.middleware:AuthContextMiddleware.factory 

filter:token auth] 

paste.filter factory = keystone.middleware:TokenAuthMiddleware.factory 

filter:admin token auth] 

paste.filter factory = keystone.middleware:AdminTokenAuthMiddleware.factory 

filter:xml body] 

paste.filter factory 

filter:json body] 

paste.filter factory = keystone.middleware:JsonBodyMiddleware.factory 

filter:user crud extension] 

paste.filter factory = keystone.contrib.user crud:CrudExtension.factory 

filter:crud extension] 

paste.filter factory = keystone.contrib.admin crud:CrudExtension.factory 

filter:ec2 extension] 

paste.filter factory — keystone.contrib.ec2:Ec2Extension.factory 

filter:federation extension] 

paste.filter factory = keystone.contrib.federation.routers:FederationExtension. 
factory 

filter:oauth extension] 

paste.filter factory = keystone.contrib.oauthl.routers:OAuthlExtension.factory 

filter:s3 extension] 

paste.filter factory = keystone.contrib.s3:S3Extension.factory 

filter:endpoint filter extension] 

paste.filter factory = keystone.contrib.endpoint filter.routers: 

EndpointFilterExtension.factory 

filter:simple cert extension] 

paste.filter factory = keystone.contrib.simple cert:SimpleCertExtension.factory 

filter:url normalize] 

paste.filter factory = keystone.middleware:NormalizingFilter.factory 

filter:sizelimit] 

paste.filter factory = keystone.middleware:RequestBodySizeLimiter.factory 

filter:stats monitoring] 

paste.filter factory = keystone.contrib.stats:StatsMiddleware.factory 

filter:stats reporting] 

paste.filter factory = keystone.contrib.stats:StatsExtension.factory 

filter:access log] 

paste.filter factory = keystone.contrib.access:AccessLogMiddleware.factory 

app:public service] 

paste.app factory = keystone.service:public app factory 

app:service v3] aid 

paste.app factory = 

app:admin service] 

paste.app factory = keystone.service:admin app factory 

pipeline:public api] 

pipeline = sizelimit url normalize build auth context token auth admin token auth 
xml body json body ec2 extension user crud extension public service 7 

pipeline:admin api] 

pipeline = sizelimit url normalize build auth context token auth admin token auth 
xml body json body ec2 extension s3 extension crud extension admin service 

pipeline:api v3] 

pipeline = sizelimit url normalize build auth context token auth admin token auth 
xml body json body ec2 extension s3 extension simple cert extension service v3 

app:public version service] K d m 

paste.app factory = keystone.service:public version app factory 

app:admin version service] 

paste.app factory = keystone.service:admin version app factory 

pipeline:public version api] 

pipeline = sizelimit url normalize xml body public version service 

pipeline:admin version api] T T 

pipeline = sizelimit url normalize xml body admin version service 

composite :main] 

use = egg:Pastefurlmap 

/v2.0 = public api 

/v3 = api v3 

/ = public version api 

composite:admin] 

use = egg:Pastefturlmap 

/N2.0 = admin api 

/v3 = api v3 ` 

/ = admin version api 


keystone.middleware:XmlBodyMiddleware.factory 


keystone.service:v3 app factory 


5.2.3 logging.conf 配 置 文件 示例 


下 面 是 一 个 logging.conf 配 置 文件 的 代码 示例 。 


[1oggers] 

keys-root, access 

[handlers] 

keys-production,file,access file,devel 
[formatters] 


keys-minimal, normal, debug 
THHHHHHHHHHE 

# Loggers # 

THHHHHHHHHHE 

logger root] 

level-WARNING 

handlers-file 

logger access] 

level-INFO 

qualname-access 
handlers-access file 
THHHHHHHHHHHHHHEHE 

# Log Handlers f 

THHHHHHHHHHHHHHHE 

handler production] 
class-handlers.SysLogHandler 
level-ERROR 

formatter-normal 
args-(('localhost', handlers.SYSLOG UDP PORT), handlers.SysLogHandler.LOG USER) 
handler file] 
class-handlers.WatchedFileHandler 
level-WARNING 

formatter-normal 
args-('error.log',) 

handler access file] 
class-handlers.WatchedFileHandler 
level-INFO 

formatter-minimal 
args-('access.log',) 

handler devel] 
class-StreamHandler 

level-NOTSET 

formatter-debug 

args- (sys.stdout,) 
THEHHHHHHHHHHHHHHRHE 

# Log Formatters 4 
THHHHHHHHHHHHHHHHEHE 

[formatter minimal] 

format=% (message) s 

[formatter normal] 
format-($(name)s): $(asctime)s $(levelname)s % (message) s 
[formatter debug] 
format-($(name)s): $(asctime)s $(levelname)s $% (module)s 
$(funcName)s $(message)s 


5.24 连接 OpenSstack 服 务 到 Keystone 


Keystone 安 装 完成 且 正 常 运行 后 ， 其 他 Openstack 服 务 想 要 使 用 Keystone， 就 需要 进行 配置 ， 主 要 是 配置 paste.ini 文 件 ， 使 Keystone 能 够 与 其 他 服务 进行 互动 。 


一 般 来 说 ， 调 用 OpenStack 的 服务 需要 通过 以 下 步骤 来 实现 。 


“ 客户 端 调用 OpenStack 服 务 将 产生 验证 令 牌 (Token) 。 

* Keystone 中 间 件 将 寻找 并 验证 令 牌 ， 采取 适 当 的 行动 。 

* Keystone 还 可 以 从 中 获取 相应 的 附加 信息 ， 如 用 户 ID、 用 户 姓名 、 租 户 ID、 租 户 姓名 等 。 
1. 设 置 证 书 


在 默认 安装 Keystone 的 情况 下 ， 要 使 用 RESTful AP1， 就 需要 预先 定义 一 个 授权 令 牌 。 此 配置 在 keystone.conf 文 件 下 的 [DEFAULT] 部 分 ， 默 认 的 示例 配置 如 下 : 


[DEFAULT] 
admin token = ADMIN 


这 个 配置 令 牌 是 Openstack 的 服务 之 间 的 “共享 秘密 ”， 并 用 于 客户 端的 API 通 信 创 建 租户 、 用 户 、 角 色 等 。 


2. 设 置 租户 、 用 户 、 角 色 


如 果 要 使 用 Keystone， 那 么 需要 至 少 定义 一 个 租户 、 用 户 ， 并 且 将 租户 与 用 户 关联 起 来 ， 将 其 作为 最 基本 的 设置 ， 使 其 他 OpensStack 服 务 能 与 Keystone 进 行 互动 。 其 他 服务 通过 Keystone 验 
证 ，Keystone 给 它们 授权 。auth_token 中 间 件 模块 处 理 这 些 认 证 、 授 权 行 为 。 


* keystone tenant-create: 创建 租户 。 
* keystone user-create: 创建 用 户 。 


* keystone role-create: 创建 角色 。 


创建 后 会 返回 UUID， 这 里 有 默认 的 角色 类 型 ， 可 以 不 用 创建 。 


3. 设 置 服务 


Keystone 除 了 提供 用 户 管理 服务 ， 也 可 作为 Dpenstack 的 服务 目录 ， 让 Openstack 服 务 可 以 通过 Keystone 知 道 各 自 的 访问 地 址 。 


Keystone 存 放 服 务 目 录 有 以 下 两 种 形式 : 
- 存放 于 default_catalog.templates 文 本 文件 中 。 


“ 存放 于 SQL 类 型 的 数据 库 中 。 


存放 在 templates 文 件 中 时 ， 只 需要 修改 模板 文件 即 可 。 如 果 存 放 在 数据 库 中 ， 则 可 以 在 Keystone 运 行 时 使 用 命令 行 创建 服务 ， 创 建 命令 如 下 : 


keystone service-create --name-nova \ 
--type-compute V 

--description-"Nova Compute Service" 
keystone service-create --name-ec2 \ 
--type-ec2 \ 

--description-"EC2 Compatibility Layer" 
keystone service-create --name-glance \ 
--type-image VN 

--description-"Glance Image Service" 
keystone service-create --name-keystone \ 
--type-identity \ 
--description-"Keystone Identity Service" 
keystone service-create --name-swift \ 


--type-object-store V 
--description-"Swift Service" 


4. 设 置 auth_token 中 间 件 


auth_token 通 过 WSGI 管 道 进行 认证 传递 、 过 滤 、 响 应 、 处 理 等 一 系列 链 式 操作 。 配 置 一 般 在 “< 服务 名 >.conf” 文 件 中 存放 ， 示 例 模板 配置 如 下 : 


[DEFAULT] 

http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
auth strategy-keystone 

[keystone authtoken] 

auth host - 127.0.0.1 

auth port = 35357 

auth protocol - http 

auth uri = http:// 127.0.0.1:5000/ 
admin user - admin 

admin password = SuperSekretPassword 
admin tenant name = service 


Oze 如 果 conf 文 件 中 设置 了 auth_token， 则 paste.ini 中 不 需要 设置 。 


5.3 ”原理 分 析 


5.3.1 ”Keystone 认 证 原理 


Keystone 在 OpenStack 的 项 目 中 提供 一 个 公共 、 统 一 的 身份 验证 协议 ， 它 通常 作为 一 种 常见 的 认证 和 授权 机 制 。OpenStack 可 以 快速 地 与 现 有 环境 的 认证 系统 相 结 合 。 
keystoneclient/middleware/auth token.py (keystoneclient.middleware.auth token.AuthProtocol) 是 讨论 的 主要 对 象 ，OpenStack 都 是 基于 WSGI 标 准 构建 的 。 


“认证 ”其 实 就 是 确定 用 户 是 否 如 描述 的 那样 。 例 如 ， 张 三 想 冒 用 李 四 身 份 访问 OpenStack 服 务 ， 张 三 对 Keystone 说 : “我 是 李 四 ”，Keystone 认 证 判断 张 三 不 是 李 四 ， 认 证 失败 ， 张 三 就 无 法 访问 
OpenStack 服 务 。 通 常情 况 下 ，“ 认 证 协议 ”包括 基于 HTTP 的 认证 、 摘 要 认证 、 公 钥 认 证 、 令 牌 认证 等 ， 均 可 用 于 验证 用 户 身份 。OpenStack 使 用 基于 令 牌 认证 机 制 来 表示 身份 验证 和 授权 。 


从 抽象 层面 理解 ， 一 个 认证 的 中 间 件 组 件 是 一 个 代理 ， 拦 截 来 自 客户 端的 HTTP 调 用 ， 并 填充 HTTP 头 请 求 上 下 文 的 其 他 WSGI 中 间 件 或 应 用 程序 使 用 。 中 间 件 处 理 的 一 般 流 程 是 : 
1) 清除 所 有 的 现 有 授权 头 ， 以 避免 伪造 。 
2) 从 现 有 的 HTTP 请 求 头 收集 令 牌 。 
3) 验证 令 牌 。 
@@ 如 果 有 效 ， 那 么 填充 已 验证 和 授权 身份 的 其 他 标 头 。 
@ 如 果 是 无 效 或 不 存在 的 令 牌 ， 则 拒绝 该 请 求 (HTTP Unauthorized) 或 标识 该 请 求 是 未 经 授权 的 (需要 配置 ) 。 
四 如 果 Keystone 不 可 用 于 验证 该 令 牌 ， 则 驳回 请 求 并 返回 HTTPServiceUnavailable。 
1. 认 证 原理 


认证 组 件 的 原理 如 图 5-2 所 示 。 


拒绝 未 授权 
的 请 求 


传递 
已 授权 的 请 求 


请 求 认 证 消息 


图 5-2 ”认证 原理 图 


认证 中 间 件 还 可 以 配置 为 运行 于 “委托 模式 ” (delegated mode) 。 在 这 种 模式 下 ， 身 份 的 验证 委托 给 Openstack 服 务 ， 由 它 自己 决定 接受 或 拒绝 某 个 客户 端的 访问 ， 如 图 5-3 所 示 。 


拒绝 uu 
服务 请 求 转发 请 求 及 
相关 验证 信息 
WIR 
或 拒绝 信息 


服务 请 求 认证 


图 5-3 ”认证 “委托 模式 ” 
在 这 里 ， 请 求 和 客户 端 身份 验证 码 转发 到 OpenStack 服 务 ， 由 它 告知 认证 组 件 客户 端的 身份 是 否 被 确认 。 
2. 认 证 组 件 的 配置 


认证 中 间 件 是 作为 一 个 WSGI 组 件 在 配置 文件 中 配置 的 。 下 面 是 一 个 auth_token 中 间 件 的 代码 示例 。 


[app:myService] 

paste.app factory = myService:app factory 

[pipeline:main] 

pipeline = tokenauth myService 

[filter:tokenauth] 

paste.filter factory - keystoneclient.middleware.auth token:filter factory 
auth host = 127.0.0.1 = z 
auth port = 35357 

auth protocol - http 

auth uri = http:// 127.0.0.1:5000/ 

admin token = Super999Sekret888Password777 

admin user - admin 

admin password = SuperSekretPassword 

admin tenant name = service 

;Uncomment next line and check ip:port to use memcached to cache tokens 
;memcache servers — 127.0.0.1:11211 

;Uncomment next 2 lines if Keystone server is validating client cert 
certfile - «path to middleware public cert» 

keyfile = «path to middleware private cert» 


令 牌 认证 中 间 件 可 以 配置 在 独立 的 paste.ini 文 件 中 ， 也 可 以 配置 于 keystone.conf 文 件 中 ， 但 一 般 都 是 在 主 配置 文件 中 加 入 auth_token 的 配置 信息 ， 如 Nova 删 除了 所 有 paste.ini 中 的 认证 中 间 件 配置 ， 
在 nova.conf 中 存放 。 


从 api-paste.ini 中 删除 的 代码 如 下 : 


[filter:authtoken] 
paste.filter factory = keystoneclient.middleware.auth token:filter factory 


在 nova.conf 中 加 入 的 代码 如 下 : 


[DEFAULT] 

http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
auth strategy-keystone 

[keystone authtoken] 

auth host - 127.0.0.1 

auth port = 35357 

auth protocol - http 

auth uri = http:// 127.0.0.1:5000/ 
admin user = admin 

admin password = SuperSekretPassword 
admin tenant name = service 


m 意 ”在 paste.ini 配 置 文件 中 的 配置 项 优先 级 高 于 nova.conf 文 件 中 的 ， 为 了 避免 冲突 ， 一 定 要 将 相应 配置 从 paste.ini 中 删除 。 
3. 配 置 参数 
相关 配置 参数 说 明 如 下 。 


- auth host: 必 填 ， 主 机 提供 用 于 验证 和 请 求 令 牌 梯形 服务 API 的 端点 。 


* admin token: 这 个 参数 选项 在 keystone 初 始 创 建 用 户 时 是 必需 的 ， 它 可 以 理解 为 keystone 的 特权 密 钥 。 如 果 admin_token 没 有 设置 ， 或 者 无 效 ， 则 需要 admin_user、admin_password 和 admin_tenant_name 三 


个 选项 来 访问 keystone。 
delay auth decision: 可 选 ， 黑 认 值 为 0 (关闭 ) 。 如 果 没有 有 效 验 证 ， 那 么 中 间 件 不 会 拒绝 无 效 的 身份 验证 请 求 ， 但 该 决定 将 委托 给 下 游 的 WSGI 组 件 。 
"auth port: 可 选 ， 默 认为 35357 的 端口 ， 用 于 验证 令 牌 。 
:auth_protocol: 可 选 ， 默 认为 HTTPS。 
auth uri: 可 选 ， 默 认为 auth_protocol://auth_host: auth port. 
“certFile: 必 填 ， 如 果 keystone 服 务 器 要 求 客户 端 证 书 〔〈 公 钥 ) 。 


* keyFile: 必 填 ， 如 果 keystone 服 务 器 需要 客户 端 证 书 (F44) 。 如 果 cettFile 中 包括 私 钥 ， 那 么 这 个 文件 可 以 和 cettFile 中 的 一 样 。 


4. 使 用 缓存 提高 Keystone 响 应 


为 了 保障 每 个 服务 请 求 ， 中 间 件 可 以 配置 为 利用 高 速 缓存 ， 这 样 Keystone API 可 以 返回 一 个 已 存在 ， 并 且 在 有 效 期 内 的 令 牌 ( 令 牌 持续 时 间 可 以 在 keystone.conf 中 配置 ) 。 中 间 件 支持 Memcache 的 
基础 缓存 。 


- memcache_servers: 可 选 ， 如 果 定 义 ， 则 Memcache 的 服务 器 用 于 缓存 。 


' token cache time: 可 选 ， 默 认为 3008， 必 须 由 memcache_servets 定 义 才 有 效 。 


5. 交 换 用 户 信息 


中 间 件 通过 寻找 X-Auth-Token 和 X-Storage-Token 来 识别 、 表 示 用 户 令 牌 。X-Storage-Token 为 Rackspace 的 Swift 所 使 用 ，X-Auth-Token 则 是 OpenStack 服 务 通用 的 令 牌 信息 。 如 果 令 牌 不 存在 ， 
那么 中 间 件 会 返回 HTTPUnauthorized HTTP 请 求 。X-ldentity-Status 表 示 客 户 端 的 状态 信息 ， 有 确认 (Confirmed) 和 无 效 (Invalid) 两 种 状态 ， 如 果 认 证 通过 ， 则 会 设置 为 确认 ， 如 果 使 用 委托 模式 并 
认证 失败 ， 则 会 设置 为 无 效 。 


6 扩展 与 其 他 用 户 信息 的 请 求 


当 认证 通过 后 ，Keystone 客 户 端 auth_token 扩 展 了 附加 信息 请 求 。 


: X-Identity-Status: 提供 了 关于 请 求 是 否认 证 的 信息 。 

“ X-Tenant-Id: 独特 的 ， 不 可 变 的 租户 ID。 

“ X-Tenant-Name: 独特 的 ， 但 可 变 的 〈 它 可 以 改变 ) 租户 名 称 。 
: XUserId: 用 于 登录 的 用 户 ID。 

: X-User-Name: 用 于 登录 的 用 户 名 。 


: X-Roles: 用 于 该 用 户 相关 联 的 角色 。 


7. 不 推荐 使 用 的 遗留 扩展 信息 


以 下 是 不 推荐 使 用 的 遗留 扩展 信息 : 


- X-Tenant: 提供 租户 的 名 称 。 这 是 为 了 支持 之 前 版 本 的 遗留 实现 ， 在 Keystone 中 切换 到 了 一 个 ID/VName 架 构 租户 。 
-X-User: 用 于 登录 的 用 户 名 。 这 是 为 了 支持 之 前 版 本 的 遗留 实现 ， 在 Keystone 中 切换 到 一 个 ID/Name 架 构 租 户 。 


: X-Role: 与 该 用 户 相 关联 的 角色 。 遗 留 实现 。 


5.3.2 图解 Keystone 


加 5-4 为 Keystone 与 其 他 OpenStack 服 务 之 间 的 关系 图 。 
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图 5-4 ”其 他 OpenStack 服 务 与 Keystone 关 系 图 


镜像 存储 


(swift ) 


nova-api、nova-network、swift-proxy、glance-api 都 需要 与 Keystone 交 互 来 获取 认证 Token， 才 能 执行 进一步 的 操作 。 一 般 来 说 ，Keystone 管 理 着 应 用 的 入 口 ，xxx-api 一 定 会 与 Keystone 交 
互 ，DashBoard 则 更 是 需要 Keystone 提 供 所 有 OpenStack 访 问 的 URL 地 址 ， 即 Endpoint (OpenStack 术 语 ) 。Keystone 组 件 图 如 图 5-5 所 示 。 


Tenant 


e.g.,Nova,Glance,Swift,Keystone 


管理 员 


创建 虚拟 机 的 流程 (不 含 Neutron) 如 图 5-6 所 示 。 
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1) 用 户 携带 证 书 或 密码 进行 Keystone 认 证 。 


2) Keystone 认 证 通过 后 返回 Token， 此 Token 带 有 角色 限制 。 
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图 5-5 Keystone 组 件 图 
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图 5-6 ”创建 虚拟 机 的 流程 〈 不 含 Neutton) 


3) 通过 Token 向 Keystone 获 取 服 务 访 问 目录 。 

4) Keystone 返 回 服务 访问 目录 。 

5) 携带 Token 进 行 虚拟 机 创建 ， 将 指令 传递 给 nova-api。 

6) Nova 向 Keystone 验 证 Token。 

7) Nova 携 带 Token 访 问 Glance， 这 里 也 需要 Keystone 验 证 Token。 
8) Glance 返 回 镜像 。 

9) Nova 返 回 创建 成 功 的 信息 给 用 户 。 

10) 虚拟 机 创建 成 功 。 


创建 虚拟 机 的 流程 (含有 Neutron) 如 图 5-7 所 示 。 
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verify «Token 


Successful response 


1) 用 户 携带 证 书 或 密码 进行 Keystone 认 证 。 


2) Keystone 认 证 通过 后 返回 Token， 此 Token 带 有 角色 限制 。 
3) 通过 Token 向 Keystone 获 取 服 务 访问 目录 。 
4) Keystone 返 回 服务 访问 目录 。 


5) 携带 Token 进 行 虚拟 机 创建 ， 将 指令 传递 给 nova-api。 


6) Nova 向 Keystone 验 证 Token。 

7) Nova 携 带 Token 访 问 Glance， 这 里 也 需要 Keystone 验 证 Token。 
8) Glance 返 回 镜像 。 

9) Nova 携 带 Token， 向 Neutron 请 求 虚拟 机 网 卡 VIF 设 置 参数 。 
10) Neutron 向 Keystone 验 证 Token。 

11) Nova 携 带 Token 验 证 VIF 是 否 可 以 访问 。 

12) Neutron 返 回 成 功 的 信息 给 Nova。 

13) Nova 返 回 创建 成 功 的 信息 给 用 户 。 


14) 虚拟 机 创建 成 功 。 
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5-7 创建 虚拟 机 的 流程 (AA Neutron) 


* verify usér access to VIF 


Successful esponse 


5.4 ”关键 源 代码 阅读 


5.4.1 ” 源 代 码 分 析 之 服务 启动 


只 有 认真 阅读 源 代码 ， 才 能 更 好 地 了 解 OpenStack， 因 为 所 有 的 文档 信息 都 是 滞后 的 ， 只 有 源 代码 才能 最 直接 地 体现 其 原理 ， 并 反映 最 新 动态 。 


使 用 命令 “git clone-b stable/grizzly https://github.com/openstack/keystone” 来 获取 GitHub 上 的 Keystone 源 代码 。 前 面 已 介绍 Keystone 的 目录 结构 ， 下 面 先 从 服务 启动 来 分 析 Keystone 源 代 


码 。 


在 keystone/bin/ 目 录 下 ， 包 含 两 个 服务 的 Python 脚本 : 
* keystone-all 


* keystone-manage 


keystone-all 负 责 启动 Keystone 服 务 ， 而 keystone-manage 用 来 管理 Keystone 服 务 。 我 们 先 从 keystone-all 入 手 。 


先 来 看 Keystone-all 脚 本 的 最 上 面 两 行 ， 其 代码 如 下 : 


#!/usr/bin/env python 
# vim: tabstop=4 shiftwidth=4 softtabstop=4 


这 两 行 定 义 了 环境 变量 ， 并 且 设 置 了 Vim 的 编辑 格式 。 这 里 主要 是 为 了 防止 <Tab> 与 <space> 按 键 混用 。tabstop 指 定 了 一 个 tab 对 应 几 个 space (空格 ) ，shiftwidth 指 定 缩 进 时 用 几 个 空 
格 ，softtabstop 表 示 在 编辑 一 个 文本 文件 时 ，tab 表 现 为 多 少 个 空格 。 


Python 中 有 明确 的 style 定 义 ,， 详 见 http://www.python.org/dev/peps/pep-3100/#style-changes。 


紧 跟 着 是 系统 类 库 的 导入 ， 其 代码 如 下 。 这 里 值得 注意 的 是 ，greenlet 和 eventlet 为 OpenStack 重 要 的 Python 类 库 ， 基 本 上 每 个 项 目 都 会 使 用 到 它们 。 这 两 个 类 库 提供 微 线程 服务 (或 者 称 为 超 线程 、 
协 程 ) ， 类 似 于 nodejs， 将 单线 程 模拟 成 多 个 线程 场景 ， 其 中 eventlet 进 行 调度 ，greenlet 负 责 模拟 线程 。 


import greenlet 
import eventlet 
import logging 
import os 
import signal 
import sys 
possible topdir = os.path.normpath(os.path.join(os.path.abspath( file ), 
os.pardir, 
os.pardir)) 
if os.path.exists(os.path.join(possible topdir, 
'keystone', ^. 
* amit .py')): 


Sys.path.insert (0, possible topdir) 


在 上 述 代码 段 中 ，os.path.normpath 指 定 了 系统 的 Python 路 径 ， 然 后 将 Keystone 目 录 设 置 在 系统 Python 目录 下 。 


接 下 来 就 是 导入 Keystone 下 使 用 的 类 ， 其 代码 如 下 : 


from paste import deploy 

from keystone import config 

from keystone.common import wsgi 

from keystone.common import utils 

from keystone.openstack.common import importutils 
from keystone.openstack.common import version 


paste.deploy 模 块 可 以 理解 为 用 于 发 现 WSGI 服 务 和 配置 的 类 库 ， 它 在 WSGI 的 基础 上 做 了 几 层 封 装 ， 让 WSGI 应 用 变 得 方便 于 实现 、 管 理 、 维 护 。 在 此 ， 附 上 官网 的 链接 : 
http://pythonpaste.org/deploy/。 官 网 的 例子 很 容易 理解 。 


接着 依次 导入 config、WSGI、utils、importutils、version， 其 代码 如 下 。config 为 配置 项 。WSGI (Web Server Gateway Interface) 是 一 个 协议 ， 是 Python 应 用 程序 或 框架 与 Web 服 务 器 之 间 的 
一 种 接口 ， 简 单 来 说 ， 就 是 将 一 个 Python 方法 ， 直 接 转换 成 Web 服 务 器 方法 。utils 是 Openstack 的 基础 工具 库 。importutils 是 OpenStack 的 导入 基础 工具 库 ， 帮 助 导 入 其 他 类 、 对 象 、 模 块 。version 是 版 
本 控制 模块 ， 主 要 用 来 管理 Python 库 的 一 些 版 本 信息 ，Openstack 会 对 导入 的 各 个 Python 系统 库 、 第 三 方 库 进行 版 本 确认 ， 如 果 不 适 用 于 当前 的 OpenStack 版 本 ， 则 会 直接 返回 报错 信息 。 


def create server(conf, name, host, port): 
app = deploy.loadapp('config:$s' $ conf, name-name) 
server = wsgi.Server(app, host-host, port-port) 
if CONF.ssl.enable: 
server.set ssl(CONF.ssl.certfile, CONF.ssl.keyfile, 
T CONF.ssl.ca certs, CONF.ssl.cert required) 
return server 


通过 deploy.loadapp 和 wsgi.Server， 可 以 创建 一 个 WSGI 服 务 。 使 用 paste.deploy 的 封装 ， 创 建 一 个 WSGI 服 务 是 非常 方便 的 。 下 面 来 看 看 这 个 server 是 如 何 启动 的 ， 其 代码 如 下 : 


def serve (*servers): 
signal.signal(signal.SIGINT, sigint handler) 
for server in servers: 
server.start() 
# notify calling process we are ready to serve 
if CONF.onready: 
try: 
notifier = importutils.import module (CONF.onready) 
notifier.notify() 7 
except ImportError: 
try: 
utils.check output (CONF.onready.split()) 
except Exception: 
logging.exception('Failed to execute onready command') 
for server in servers: 
try: 
server.wait() 
except greenlet.GreenletExit: 
pass 


serve 相 对 于 server 来 说 ， 是 一 个 动作 ， 用 来 启动 服务 。serve 方 法 server.start() 对 传 入 的 servers 进 行 迭 代 启 动 ， 启 动 后 检查 配置 文件 CONF.onready 的 加 载 情况 并 进行 通知 。 启 动 完成 后 会 使 用 
server.wait()， 让 服务 进入 greenthread 协 程 等 待 状态 。 


研究 server 的 定义 ， 可 以 更 好 地 理解 这 一 系列 关系 。server 是 keystone/common/wsgi.py 中 的 类 ， 其 示例 代码 如 下 : 


class Server (object): 
"""Server class to manage multiple WSGI sockets and applications. 
def init (self, application, host-None, port-None, threads-1000): 
self.application = application 
self.host - host or '0.0.0.0' 


self.port = port or 0 
self.pool = eventlet.GreenPool (threads) 
self.socket info = {} 


self.greenthread - None 
self.do ssl - False 
self.cert required = False 
def start (self, key-None, backlog-128): 
"""Run a WSGI server with the given application. 
LOG.debug( ('Starting $(arg0)s on $(host)s:$(port)s') $ 
('arg0': sys.argv[0], 
"host': self.host, 
'port': self.port]) 
# TODO(dims): eventlet's green dns/socket module does not actually support 
#IPv6 in getaddrinfo(). We need to get around this 
# in the future or monitor upstream for a fix 
info = socket.getaddrinfo (self.host, 
self.port, 
Socket.AF UNSPEC, 
socket .SOCK STREAM) [0] 
Socket = eventlet.listen(info[-1], 
T family=info[0], 
backlog=backlog) 


if key: 
self.socket info[key] = _socket.getsockname () 
# SSL is enabled iig 
if self.do ssl: 
if self.cert required: 
cert reqs = ssl.CERT REQUIRED 
else: 
cert reqs = ssl.CERT NONE 
Sslsocket = eventlet.wrap ssl( socket, certfile-self.certfile, 
keyfile-self.keyfile, 
server side-True, 
cert reqs-cert regs, 
ca_certs=self.ca_certs) 
socket = sslsocket 
self.greenthread = self.pool.spawn(self. run, 
self.application, 
. Socket) 
def set ssl(self, certfile, keyfile-None, ca certs-None, 
^ cert required-True): E 
self.certfile = certfile 
self.keyfile = keyfile 
self.ca certs = ca certs 
self.cert required = cert required 
self.do ssl = True B 
def kill(self): 
if self.greenthread: 
self.greenthread.kill() 
def wait(self): 
"""Wait until all servers have completed running. 
try: 
self.pool.waitall() 
except KeyboardInterrupt: 
pass 
def run(self, application, socket): 
"""Start a WSGI server in a new green thread.""" 
log = logging.getLogger ('eventlet.wsgi.server') 
try: 
eventlet.wsgi.server(socket, application, custom pool-self.pool, 
log-WritableLogger (log)) 


except Exception: 
LOG.exception ( ('Server error!)) 
raise 


server 类 中 定义 了 _init_0 方 法 (初始 化 方法 ) 、start0 方 法 (启动 方法 ) 、set_ssl() 方 法 〈 设 置 SSL 方 法 ) 、kill0 方 法 (结束 greenthread 线 程 方 法 ) 、wait() 方 法 (等待 方 法 ) 、_run0 方 法 (启动 
WSG| 方 法 ) ， 其 中 pool.spawn0、poolwaitall0、greenthread.kill0 为 最 终 调用 方法 。pool 在 wsgi.py 中 的 定义 是 self.pool=eventlet.GreenPool(threads)。 其 实 每 个 server 都 放 在 greenthread 的 协 程 池 
中 ， 让 eventlet 去 调度 、 管 理 。 


一 切 就 绪 ， 下 面 再 回 到 keystone-all 看 一 下 keystone-all 服 务 启 动 的 


函数 ， 其 代码 如 下 : 


if name  -- ' main ': 
"dev conf = os.path.join(possible topdir, 
ES 'etc', y- 
' keystone.conf') 
config files - None 
if os.path.exists (dev conf): 
config files = [dev conf] 
CONF (project-'keystone', 
version-version.VersionInfo('keystone').version string(), 
default config files-config files) 
config.setup logging (CONF) B 
* Log the options used when starting if we're in debug modehttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
if CONF.debug: 
CONF.log opt values (logging.getLogger (CONF.prog), logging.DEBUG) 
if CONF.config file: 
paste config = CONF.config file[0] 
else: 
paste config - CONF.find file('keystone.conf') 
if not paste config: 7 
print ("The keystone.conf file could not be found in the 
"configuration directories.") 
CONF.print help() 
sys.exit(1) 
monkeypatch thread - not CONF.standard threads 
pydev debug url = utils.setup remote pydev debug () 
if pydev debug url: 
# in order to work around errors caused by monkey patching 
# we have to set the thread to False. An explanation is here: 
#http:// lists.openstack.org/pipermail/openstack-dev/2012-August/000794.html 
monkeypatch thread = False 
eventlet.patcher.monkey patch(all-False, socket-True, time-True, 
thread-monkeypatch thread) 
options = deploy.appconfig('config:$s' $ paste config) 
servers = 5d 
servers.append(create server(paste config, 
"admin', 
CONF.bind host, 
int (CONF.admin port))) 
servers.append(create server(paste config, 
'main', 
CONF.bind host, 
int(CONF.public port))) 


serve (*servers) 


keystone-all 主 函数 中 依次 加 载 了 Keystone 配 置 和 paste 配 置 。monkeypatch 是 eventlet 中 被 普遍 使 用 的 技巧 ， 它 是 hotpatch， 即 热 加 载 或 热 补丁 技术 。 使 用 它 ， 可 在 不 修改 原 代码 的 情况 下 对 运行 程 
序 进 行 修改 。eventlet 中 使 用 monkeypatch 的 一 个 目的 是 蔡 换 Python 标准 库 中 的 一 些 I/O 操 作 ， 这 里 主要 体现 为 socket。 通 过 monkeypatch 的 热 加 载 ，eventlet 可 以 用 自己 的 一 套 高 性 能 MO 库 ， 蔡 换 本 地 
库 中 的 一 些 标准 模块 ， 实 现 协 程 的 高 性 能 伪 并 发 ， 这 样 外 部 系统 就 难以 察觉 。 这 是 一 个 非常 巧妙 的 处 理 ， 有 兴趣 的 读者 可 以 去 详细 了 解 一 下 ， 这 里 就 不 多 做 介绍 了 。 


keystone-all 启 动 了 两 个 协 程 ， 一 个 用 来 处 理 admin， 另 一 个 用 来 处 理 public。admin 和 public 在 最 终 处 理 上 没有 本 质 区 别 ， 只 是 区 分 了 权限 。 至 此 ， 服 务 启动 讲解 完毕 。 


542 ” 源 代 码 分 析 之 CLI 调 用 


介绍 完了 keystone/bin/keystone-all， 再 来 介绍 keystone-manage， 这 个 命令 是 用 来 管理 Keystone 的 。 下 面 分 析 一 下 它 的 源 代 码 。 


#!/usr/bin/env python 
import os 
import sys 
# If http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/../keystone/_ init .py exists, add http://www.hzcourse.com/resourc 
# path, so that it will override what happens to be installed in /usr/ (local/)lib/pythonhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/1 
possible topdir = os.path.normpath (os.path.join(os.path.abspath (sys.argv[0]), 
T os.pardir, 
os.pardir)) 
if os.path.exists (os.path.join(possible topdir, 
'keystone', `~ 
t anit  .py'))* 
sys.path.insert(0, possible topdir) 
from keystone import cli 
if name  — ' main ': 
dev conf = os.path.join(possible topdir, 
7 'etc', 2 
'" keystone.conf') 
config files = None 
if os.path.exists (dev conf): 
config files = [dev conf] 
cli.main(argv-sys.argv, config files-config files) 


keystone-manage 相 对 于 keystone-all 来 说 ， 理 解 起 来 比较 简单 。 同 样 ， 它 开始 定义 了 基础 的 os 和 sys 路 径 ， 定 义 完 类 库 路 径 后 ， 导 入 Keystone 的 CLI 模 块 。 从 keystone-manage 的 


函数 可 以 看 到 ， 


其 实 keystone-manage 只 是 一 个 cli.main() 的 入 口 ， 具 体 实现 都 是 由 keystone/keystone/cli.py 来 实现 的 ， 其 代码 如 下 : 


def main(argv-None, config files=None): 
CONF.register cli opt (command opt) 
CONF (args-argv[1:], E 
project-'keystone', 
version-version.VersionInfo('keystone').version string(), 
usage-'$(prog)s [' + '|'.join([cmd.name for cmd in CMDS]) + ']', 
default config files-config files) 
config.setup logging (CONF) 
CONF. command.cmd class .main() 


通过 oslo.config 的 register_cli_opt 来 注册 方法 ， 再 通过 方法 


回 


调 ， 调 用 当前 传 入 类 的 main0 函 数 。 


例如 ，keystone-manage db_sync 最 终 调用 的 是 DbSync 中 的 main0 方 法 ， 其 代码 如 下 : 


class DbSync (BaseApp): 

"""Sync the database.""" 

name — 'db sync' 

Gstaticmethod 

def main(): 

for k in ['identity', 'catalog', 'policy', 'token']: 
driver = importutils.import object(getattr(CONF, k).driver) 
if hasattr (driver, 'db sync'): 
driver.db sync() 


driver 分 别 为 identity、catalog、policy、token 模 块 中 的 类 ， 然 后 调用 各 自 的 db_sync() 方 法 ， 最 终 调 用 keystone/common/sqymigration.py 中 的 db_sync() 方 法 来 同步 数据 库 。 


5.5 “案例 : 配置 Keystone 使 用 Active Directory 进 行 认证 


这 个 案例 是 与 AD 服务 器 的 连接 验证 。 
User 为 LDAP 管 理 员 的 ID， 一 般 为 Administrator，password 为 Administrator 的 密码 。 
Ors 管理 员 标 识 需 要 与 AD 中 存放 的 管理 员 对 象 的 目录 标识 完全 一 致 。 


配置 keystone.conf， 其 代码 如 下 : 


[1dap] 
url 7 ldap:// dc.example.com 
user = CN-ldap, OU-Users, DC-example, DC-com 
password = verybadpass 
suffix = DC-example, DC-com 
use dumb member = True 
dumb member = CN-ldap, OU-Users, DC-example, DC-com 
# 
配置 用 户 树 的 根 的 标识 ， 以 及 用 户 对 象 的 类 型 
user tree dn = OU-Users, DC-example, DC-com 
user objectclass = person 
# 
配置 Tenant 
树 的 根 的 标识 ， 以 及 Tenant 
对 象 的 类 型 


tenant tree dn 
tenant objectclass 


OU-Tenants, DC-example, DC-com 
groupOfNames 


+ 

配置 Role 

树 的 根 的 标识 ， 以 及 Role 
对 象 的 类 型 


role tree dn 


EH E OU-Roles, DC=example, DC=com 
role_objectclass 


organizationalRole 


以 上 代码 段 中 的 标识 和 AD 中 相对 应 的 标识 必须 完全 一 致 ， 对 象 的 类 型 可 以 选择 其 他 类 型 ， 如 user 对 象 可 使 用 inetPerson 类 型 的 对 象 ， 此 时 AD 中 User 树 下 的 对 象 也 必须 是 inetPerson 类 型 ， 两 者 必须 保 


持 完 全 一 致 。 


配置 完成 后 执行 下 面 的 命令 : 


service openstack-keystone restart 


然后 就 可 以 使 用 一 般 Keystone 命 令 进行 测试 验证 了 ， 如 : 


keystone user-list 


Ozz 客户 机 在 AD 上 没有 写 权 限 ，keystonek-cteate 操 作 无 法 完成 。 


配置 流程 详细 说 明 可 参见 : http://docs.openstack.org/admin-guide-cloud/content/ch-identity-mgmt-config.html#configuring-keystone-for-ldap-backend 和 


https;//wiki.openstack.org/wiki/HowtolntegrateKeystonewithAD, 
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ge 


镜像 组 件 介绍 


在 OpenStack 整 个 云 环境 中 ， 如 果 没有 虚拟 机 镜像 ， 就 无 法 在 计算 节点 上 生成 虚拟 机 ，OpenStack 基 本 上 也 是 没有 意义 的 。 在 OpenStack 中 ， 负 责 管理 虚拟 机 镜像 的 组 件 叫做 Glance， 这 个 组 件 的 服 
务 主要 负责 存 取 虚 拟 镜像 ， 并 且 人 允许 通过 RESTful 的 AP| 查 询 镜 像 的 信息 。 


很 多 初学 者 ， 会 对 虚拟 机 镜像 产生 疑问 。 在 完成 OpenStack 安 装 ， 需 要 生成 虚拟 机 时 ， 却 不 知 如 何 和 4 


EF 成 虚拟 机 ， 因 为 没有 镜像 。 使 用 VMware、VirtualBox 等 虚拟 化 软件 时 ， 界 面 上 通常 有 一 个 “家 


按钮 ， 用 来 新 建 一 台 虚 拟 机 ， 在 新 建 的 过 程 中 ， 会 将 1SO 载 入 虚拟 光驱 ， 然 后 安装 操作 系统 ， 这 样 一 台 虚 拟 机 就 生成 了 。 这 种 方式 和 


模板 就 生成 了 。 但 是 ， 在 OpenStack 中 生成 虚拟 机 没有 虚拟 化 软件 那样 直观 和 便捷 。 


把 这 个 虚拟 机 的 文件 ， 通 常 是 一 个 文件 ， 使 用 Glance 的 命令 ， 或 者 在 OpenStack 的 Dashboard 中 ， 上 传 到 Glance 中 。 这 生 


传统 物理 机 安装 系统 方式 相同 。 将 生成 的 虚拟 机 制作 为 模板 ， 镜 像 


那么 究竟 Openstack 是 如 何 从 镜像 生成 虚拟 机 的 呢 ? 简单 来 说 ， 以 使 用 KVM 为 例 ， 在 redhat 或 CentOS 上 ， 使 用 图 形 化 的 virt-manager 软 件 ， 生 成 一 台 适 用 于 KVM 的 虚拟 机 ， 然 后 做 适当 配置 ， 接 着 


外 ， 


VDI。 
磁盘 格式 之 间 可 以 相互 转换 。 对 于 Glance 来 说 ， 上 传 的 文件 是 否 为 合法 的 镜像 格式 ， 不 做 任何 校 输 ， 也 无 法 校 验 ， 


因此 这 个 过 程 可 以 简单 地 描述 为 复制 虚拟 机 文件 到 Glance 的 镜像 目录 中 ， 然 后 加 上 一 些 描述 镜像 的 数据 字段 ， 存 入 数据 库 中 。 这 样 ， 使 


一 些 Linux 的 厂商 也 会 发 布 适用 于 云 计 算 环 境 的 镜像 模板 。 


说 的 “Glance 中 ”具体 是 指 Glance 会 在 配置 文件 中 指定 一 个 目录 用 来 存放 镜像 ， 


Dashboard 查 看 images 页 面 时 ， 刚 才 上 传 的 镜像 就 会 出 现 。 另 


虚拟 机 镜像 在 OpenStack 中 简单 地 表现 为 一 个 文件 ， 这 个 文件 中 包含 了 可 以 启动 的 操作 系统 。 虚 拟 机 磁盘 文件 可 以 有 多 种 格式 ， 常 见 的 有 RAW、qcow2、AMI/AKI/ARI、VMDK、VHD、VHDX、 


于 OpenStack 支 持 多 种 虚拟 化 技术 ， 因 此 可 以 上 传 适合 特定 虚拟 化 技术 的 磁盘 文件 作为 镜像 。 壁 如 ， 使 


Hyper-V 作 为 计算 节点 的 虚拟 化 技术 ， 就 可 上 传 做 好 的 VHD 格式 的 镜像 。 某 些 不 同 的 镜像 


是 可 以 的 。 当 然 ， 使 用 这 个 TXT 文件 生成 实例 时 ， 虚 拟 机 无 法 生成 ， 会 显示 “no bootable disk" , 


生成 虚拟 机 时 ， 从 Glance 获 取 镜 像 也 是 比较 简单 的 。 当 调度 程序 决定 了 在 某 个 计算 节点 上 启动 第 一 台 虚 拟 机 


为 它 不 知道 上 传 的 文件 是 什么 格式 的 ， 即 使 上 传 的 是 一 个 根本 无 法 启动 的 TXT 文件 ， 也 


的 时 候 ， 首 先 会 把 镜像 文件 复制 到 这 个 计算 节点 ，nova.conf 中 如 果 定 义 了 instances_path 


选项 ， 那 么 该 选项 值 便 是 计算 节点 上 虚拟 机 存放 的 目录 。 在 该 目录 下 会 有 一 个 _base 目 录 ， 镜 像 从 Glance 所 在 的 服务 器 复制 到 这 个 目录 下 。 复 制 完成 后 ， 计 算 节点 便 从 _base 下 的 文件 生成 虚拟 机 。 在 这 个 计 
算 节点 生成 第 二 台 同 样 配 置 的 该 镜像 的 虚拟 机 时 ， 就 不 需要 再 从 Glance 复 制 到 这 个 计算 节点 了 。 对 于 长 期 不 使 用 的 镜像 ， 在 没有 虚拟 机 使 


所 


的 情况 下 ， 可 以 删除 _base 下 的 相应 文件 以 释放 磁盘 空间 。Nova 


的 虚拟 机 磁盘 方式 是 qcow2 时 ， 绝 对 不 能 删除 _base 中 相应 的 镜像 文件 ， 因 为 此 时 instance 中 的 disk 是 在 _base 中 文件 的 基础 上 增 量 使 用 的 。 


6.1 


201 


.1 ”Glance 表 结构 


首先 看 一 下 Glance 数 据 库 的 表 结构 ， 其 代码 如 下 : 


glance# \dt 
List of relations 


Schema | Name | Type | Owner 
-------- 寺 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一直 一 -一 -一 一 一 一 -一 -一 -一 -一 -一 
public | image locations | table | openstack 
public | image members | table | openstack 
public | image properties | table | openstack 
public | image tags | table | openstack 
public | images | table | openstack 
public | migrate version | table | openstack 

(6 rows) 7 


Glance 组 件 的 数据 库 表 结构 是 比较 简单 的 ， 存 放 的 数据 字段 不 是 很 多 ， 一 共有 6 个 表 。 下 面 针 对 其 中 三 个 进行 说 明 。 


(1) image locations 


image_locations 表 用 来 存放 镜像 文件 的 地 址 、 创 建 时 间 、 更 新 时 间 、 是 否 被 删除 ， 以 及 删除 时 间 等 信息 。 看 一 下 这 个 表 的 两 条 记录 ， 其 代码 如 下 : 


glance=# select * from image locations; 


-[ RECORD 1 ] -一 一 
ig 11 

image id | 7db3dblf-706a-48f6-88ad-672b47efdb4e 

value | file:// /var/lib/glance/images/7db3dblf-706a-48f6-88ad-672b47efdb4e 


created at | 2013-10-09 15:28:30.840017 
updated at | 2013-10-09 16:07:45.873641 
deleted at | 2013-10-09 16:07:45.873125 


deleted |t 

-[ RECORD 2 ]------------------------------------------------------------------ 
id 12 

image id | 357640c6-2d5e-4ad6-ab96-7962£8052bd1 

value | file:// /var/lib/glance/images/357640c6-2d5e-4ad6-ab96-7962f8052bd1l 


created at | 2013-10-09 16:08:08.117658 
updated at | 2013-10-09 16:08:08.117664 
deleted at | 

deleted | f 


上 述 第 一 条 记录 显示 ， 有 一 个 image id 为 7db3db1f-706a-48f6-88ad-672b47efdb4e 的 镜像 ， 存 放 的 文件 地 址 为 /var/lib/glance/images/7db3db1f-706a-48f6-88ad-672b47efdb4e， 创 建 时 间 为 


3-10-09 15 : 28 : 30， 没 有 被 删除 。 
(2) images 


images 表 中 存放 了 大 多 数 的 镜像 的 数据 ， 例 如 : 


glance=# select * from images; 
-[ RECORD 1 ]----4------------------------------------- 


id | 7db3db1f-706a-48f6-88ad-672b47efdb4e 
name | myFirstlImage 
size | 9761280 


status | deleted 


is public E 

created at 2013-10-09 15:28:30.733218 
updated at 2013-10-09 16:07:45.87455 
deleted at 2013-10-09 16:07:45.874117 
deleted t 

disk format qcow2 

container format | bare 

checksum 50bdc35edb03a38d91b1b071afb20a3c 
owner 8012488bffae4b85ab7421e69b814fa8 
min disk 0 

min ram 0 

protected f 

-[ RECORD 2 ]e———t-5-----9-2—0-o-ecocncceececeo ecce 
id 357640c6-2d5e-4ad6-ab96-7962£8052bd1l 
name myFirstImage 

size 9761280 

status active 

is public t 

created at 2013-10-09 16:08:07.999238 
updated at 2013-10-09 16:08:08.105406 
deleted at 

deleted f 

disk format qcow2 

container format | bare 

checksum ` 50bdc35edb03a38d91b1b071afb20a3c 
owner 8012488bffae4b85ab7421e69b814fa8 
min disk 0 

min ram 0 

protected f 


这 两 条 记录 ， 一 条 是 已 经 删除 的 镜像 ， 另 一 条 是 存在 的 镜像 记录 。 这 里 记录 了 镜像 的 名 字 、 状 态 、 大 小 、 是 否 删除 等 属性 。 下 文 我 们 将 会 陆续 介绍 这 些 属性 。 


(3) migrate version 


migrate version 表 记录 的 是 Glance 数 据 库 版 本 的 数据 ， 可 以 查看 该 表 的 一 个 记录 ， 其 代码 如 下 : 


-[ RECORD 1 ]---+------------------------------------------------------------------- 
repository id | Glance Migrations 

repository path | /usr/lib/python2.7/dist-packages/glance/db/sqlalchemy/migrate repo 
version | 22 


6.1.2 ”Glance 中 镜像 的 概念 


1. 镜 像 状态 


虚拟 机 镜像 在 Glance 中 存放 的 时 候 会 有 多 种 状态 ， 上 一 节 说 到 在 数据 库 中 就 有 active 和 deleted 状 态 。 状 态 是 Glance 这 个 组 件 的 程序 定义 的 ， 和 底层 的 虚拟 机 镜像 的 实际 情况 无 关 。 下 面 介绍 一 下 镜像 


在 Glance 中 的 各 种 状态 。 


(1) queued 


从 字面 上 看 ，queued 状 态 可 以 理解 为 镜像 进入 队列 ， 实 际 上 它 表 明 上 传 一 个 镜像 时 ， 请 求 被 Glance Registry 服 务 接受 ， 并 


分 配 了 一 个 对 应 该 镜像 的 标识 。 这 个 状态 没有 任何 数据 上 传 到 Glance 中 。 


(2) saving 


saving 状 态 表明 镜像 的 数据 正在 被 上 传 到 Glance 中 。 视 镜像 的 大 小 ， 这 个 状态 耗 时 也 会 不 同 。 


(3) active 


active 状 态 表明 镜像 在 Glance 中 已 经 可 用 了 。 当 镜像 的 数据 完全 上 传 到 Glance 中 后 就 会 转变 成 这 个 状态 。 再 次 声明 一 下 ，active 表 明镜 像 完全 上 传 到 Glance 中 ， 可 以 在 OpenStack 中 使 用 了 ,但 并 不 表 


明 这 个 镜像 生成 的 虚拟 机 一 定 能 启动 。 
(4) killed 


killed 状 态 表示 在 上 传 镜像 数据 的 过 程 中 发 生 了 错误 ， 壁 如 上 传 过 程 中 网 络 终端 人 为 地 被 取消 了 。 这 个 状态 的 image 是 不 可 用 | 


(5) deleted 


在 deleted 状 态 中 ，Glance 会 保留 镜像 的 数据 库 信息 ， 但 是 用 户 已 经 无 法 使 用 镜像 ， 镜 像 的 磁盘 数据 会 在 一 个 定义 的 时 间 后 自动 删除 。 


(6) pending delete 


pending_delete 状 态 和 deleted 类 似 ， 区 别 在 于 Glance 不 会 删除 镜像 的 数据 ， 因 此 ， 这 个 状态 中 的 镜像 是 可 以 恢复 的 。 


2. 镜 像 的 格式 


刚刚 接触 虚拟 化 技术 的 用 户 可 能 对 镜像 格式 这 个 概念 有 些 陌生 。 简 单 来 说， 不 同 的 厂商 有 自己 的 虚拟 化 技术 ， 璧 如 VMware、 


Critix、Hyper-V， 它 们 都 使 用 不 同 的 虚拟 化 技术 ， 因 此 ， 在 对 虚拟 机 磁盘 


格式 的 定义 上 ， 有 自己 遵循 的 标准 。 通 常 来 疝 ， 一 个 已 安装 了 操作 系统 的 虚拟 机 磁盘 可 能 仅仅 是 单个 文件 ， 但 是 这 个 单个 文件 的 格式 因 不 同 厂商 的 不 同 虚拟 化 软件 而 各 有 不 同 。 


OpenStack 中 可 以 支持 多 种 虚拟 化 的 技术 ， 如 KVM、XenServer、Hyper-V 和 VMware 等 。 用 户 在 上 传 镜像 时 ， 必 须 指定 上 传 镜像 文件 的 格式 (Disk Format) 。 此 外 ， 在 Glance 中 还 有 容器 的 格式 
(Container Format) 。 容 器 格式 用 来 表示 虚拟 机 镜像 文件 是 否 为 一 个 包含 了 元 数据 的 镜像 文件 ， 例 如 OVF 格 式 。 目 前 在 Glance 中 ， 并 没有 真正 使 用 到 容器 格式 ， 上 传 镜像 文件 时 只 需要 把 Container 


Format 设 置 为 bare ( 空 ) 即 可 。 下 面 列 出 了 在 OpenStack 中 镜像 文件 常用 的 几 种 格式 。 


(1) RAW 
RAW 即 常 说 的 裸 格式 ， 它 其 实 就 是 没有 格式 ， 最 大 的 特点 就 是 简单 ， 数 据 写 入 什么 就 是 什么 ， 不 做 任何 修饰 ， 所 以 在 性 能 方面 很 不 错 ， 甚 至 不 需要 启动 这 种 镜像 的 虚拟 机 ， 只 需要 把 文件 挂 载 ， 即 可 直 


接 读 写 内 部 数据 。 并 且 由 于 RAW 格式 简单 ， 因 此 RAW 和 其 他 格式 之 间 的 转换 也 更 容易 。 在 KVM 的 虚拟 化 环境 下 ， 有 很 多 使 用 RAW 格式 的 虚拟 机 。 


(2) qcow2 


qcow2 是 qcow 的 升级 版 本 ， 它 是 QEMU 的 CopyOn Write 特性 的 磁盘 格式 ， 特性 是 磁盘 文件 大 小 可 以 随 着 数据 的 增加 而 增长 。 名 如 创建 一 个 10GB 的 虚拟 机 ， 实 际 虚拟 机 内 部 只 用 了 5GB， 那 么 初 


始 的 qcow2 磁 盘 文件 大 小 就 是 5GB。 与 RAW 相 比 ， 使 用 这 种 格式 可 以 节省 一 部 分 空间 资源 。 


(3) VHD 


VHD 也 是 一 种 通用 的 磁盘 格式 。 微 软 公司 的 Virtual PC 和 Hyper-V 使 用 的 就 是 VHD 格式 。VirtualBox 也 提供 了 对 VHD 格式 的 支持 。 如 果 要 在 OpenStack 上 使 用 Hyper-V 的 虚拟 化 ， 就 应 该 上 传 VHD 格 式 


的 镜像 文件 。 


(4) VMDK 


VMware 创 建 的 一 个 虚拟 机 磁盘 格式 ， 目 前 也 是 一 个 开放 的 通 


(5) VDI 


Oracle 公 司 的 VirtualBox 虚 拟 软件 所 使 用 的 格式 。 


(6) ISO 


1SO 是 指 一 种 存档 数据 文件 在 光盘 上 的 格式 。 


(7) AKI、ARI、AMI 


Amazon 公 司 的 AWS 所 使 用 的 镜像 格式 。 
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镜像 组 件 介绍 


格式 ， 除 了 VMware 自家 的 产品 外 ，QEMU 和 VirtualBox 也 提供 了 对 VMDK 格 式 的 支持 。 


在 OpenStack 整 个 云 环 境 中 ， 如 果 没有 虚拟 机 镜像 ， 就 无 法 在 计算 节点 上 生成 虚拟 机 ，OpenStack 基 本 上 也 是 没有 意义 的 。 在 OpenStack 中 ， 负 责 管理 虚拟 机 镜像 的 组 件 叫 做 Glance， 这 个 组 件 的 服 


务 主 


ge" 


很 多 初学 者 ， 会 对 虚拟 机 镜像 产生 疑问 。 在 完成 OpenStack 安 装 ， 需 要 4 
按钮 ， 用 来 新 建 一 台 虚 拟 机 ， 在 新 建 的 过 程 中 ， 会 将 1SO 载 入 虚拟 光驱 ， 


负责 存 取 虚 拟 镜像 ， 并 且 人 允许 通过 RESTful 的 AP| 查 询 镜像 的 信息 。 


模板 就 生成 了 。 但 是 ， 在 OpenStack 中 生成 虚拟 机 没有 虚拟 化 软件 那样 直观 和 便捷 。 


VDI. 


ERE SERE RTI fS 
外 ,一些 Linux 的 厂商 也 会 发 布 适 | 


那么 究竟 OpenStack 是 如 何 从 镜像 生成 虚拟 机 的 呢 ? 简单 来 说 ， 以 使 用 KVM 为 例 ， 在 redhat 或 CentOS 上 ， 使 用 医 
把 这 个 虚拟 机 的 文件 ， 通 常 是 一 个 文件 ， 使 用 Glance 的 命令 ,或 者 在 OpenStack 的 Dashboard 中 ， 上 传 到 Glance 中 。 这 生 
a 地 描述 为 复制 虚拟 机 文件 到 Glance 的 镜像 目录 中 ， 然 后 加 上 一 些 描述 镜像 的 数据 字段 ， 存 入 数据 库 中 。 这 样 ， 使 


云 计算 环境 的 镜像 模板 。 


成 虚拟 机 时 ， 却 不 知 如 何 生成 虚拟 机 ， 因 
然后 安装 操作 系统 ， 这 样 一 台 虚 拟 机 就 生成 了 。 这 种 方式 和 


为 没有 镜像 。 使 F 


VMware、VirtualBox 等 虚拟 化 软件 时 ， 界 面 上 通常 有 一 个 “新 


传统 物理 机 安装 系统 方式 相同 。 将 生成 的 虚拟 机 制作 为 模板 ,镜像 


形 化 的 virt-manager 软 件 ， 生 成 一 台 适 用 于 KVM 的 虚拟 机 ， 然 后 做 适当 配置 ， 接 着 
说 的 “Glance 中 ”具体 是 指 Glance 会 在 配置 文件 中 指定 一 个 目录 用 来 存放 镜像 ， 


Dashboard 查 看 images 页 面 时 ， 刚 才 上 传 的 镜像 就 会 出 现 。 另 


虚拟 机 镜像 在 OpenStack 中 简单 地 表现 为 一 个 文件 ， 这 个 文件 中 包含 了 可 以 启动 的 操作 系统 。 虚 拟 机 磁盘 文件 可 以 有 多 种 格式 ， 常 见 的 有 RAW、qcow2、AMI/AKI/ARI、VMDK、VHD、VHDX、 


由 于 OpenStack 支 持 多 种 虚拟 化 技术 ， 因 此 可 以 上 传 适合 特定 虚拟 化 技术 的 磁盘 文件 作为 镜像 。 璧 如， 使 


Hyper-V 作 为 计算 节点 的 虚拟 化 技术 ， 就 可 上 传 做 好 的 VHD 格式 的 镜像 。 某 些 不 同 的 镜像 


磁盘 格式 之 间 可 以 相互 转换 。 对 于 Glance 来 说 ， 上 传 的 文件 是 否 为 合法 的 镜像 格式 ， 不 做 任何 校 验 ， 也 无 法 校 验 ， 因 为 它 不 知道 上 传 的 文件 是 什么 格式 的 ， 即 使 上 传 的 是 一 个 根本 无 法 启动 的 TXT 文 件 ， 也 


是 可 以 的 。 当 然 , 使 


生成 虚拟 机 时 ， 从 Glance 获 取 镜 像 也 是 比较 简单 的 。 当 调度 程序 决定 了 在 某 个 计算 节点 上 


这 个 TXT 文 件 生成 实例 


村 ， 虚 拟 机 无 法 生成 ， 会 显示 “no bootable disk" , 


启动 第 一 台 虚 拟 机 的 时 候 ， 首 先 会 把 镜像 文件 复制 到 这 个 计算 节点 ，nova.conf 中 如 果 定 义 了 instances_path 


选项 ， 那 么 该 选项 值 便 是 计算 节点 上 虚拟 机 存放 的 目录 。 在 该 目录 下 会 有 一 个 _base 目 录 ， 镜 像 从 Glance 所 在 的 服务 器 复制 到 这 个 目录 下 。 复 制 完成 后 ， 计 算 节点 便 从 _base 下 的 文件 生成 虚拟 机 。 在 这 个 计 


算 节点 生成 第 二 台 同 样 配置 的 该 镜像 的 虚拟 机 时 ， 就 不 需要 再 从 Glance 复 制 到 这 个 计算 节点 了 。 对 于 长 期 不 使 用 的 镜像 ， 在 没有 虚拟 机 使 用 的 情况 下 ， 可 以 删除 base 下 的 相应 文件 以 释放 磁盘 空间 。Nova 


所 


6.1 


.1 ”Glance 表 结构 


的 虚拟 机 磁盘 方式 是 qcow2 时 ， 绝 对 不 能 删除 _base 中 相应 的 镜像 文件 ， 因 


首先 看 一 下 Glance 数 据 库 的 表 结构 ， 其 代码 如 下 : 


glance# \dt 


List of relations 


Schema | Name | Type | Owner 
ESEE EY re cen uec. 
public | image locations | table | openstack 
public | image members | table | openstack 
public | image properties | table | openstack 
public | image tags | table | openstack 
public | images | table | openstack 
public | migrate version | table | openstack 


(6 rows) 


Glance 组 件 的 数据 库 表 结构 是 比较 简单 的 ， 存 放 的 数据 字段 不 是 很 多 ， 一 共有 6 个 表 。 下 


(1) image locations 


image locations 表 上 


为 此 时 instance 中 的 disk 是 在 base 中 文件 的 基 


针对 其 中 三 个 进行 说 明 。 


来 存放 镜像 文件 的 地 址 、 创 建 时 间 、 更 新 时 间 、 是 否 被 删除 ， 以 及 


glance=# select * from image locations; 


-[ RECORD 1 ]----- 一 一 -一 -一 -一 一 -一 -一 一 一 一 -一 一 -一 一 一 一 一 一 


bl 
à 
o 
e 
o. 


1 
"Idb3db1f-706a-48f6-88ad-672b4"7efdb4e 
file:// /var/lib/glance/images/"7db3dblf-706a-48f6-88ad-672b47efdb4e 


created at | 2013-10-09 15:28:30.840017 
updated at | 2013-10-09 16:07:45.873641 
deleted at | 2013-10-09 16:07:45.873125 


deleted |t 

-[ RECORD 2 ]-----------------------------------------------------------------— 
id | 2 

image id | 357640c6-2d5e-4ad6-ab96-7962f8052bd1 

value | file:// /var/lib/glance/images/357640c6-2d5e-4ad6-ab96-7962£8052bd1 


created at | 2013-10-09 16:08:08.117658 
updated at | 2013-10-09 16:08:08.117664 


deleted at | 
deleted | £f 


而 上 增 量 使 用 的 。 


除 时 间 等 信息 。 看 一 下 这 个 表 的 两 条 记录 ， 其 代码 如 下 : 


上 述 第 一 条 记录 显示 ， 有 一 个 image id 为 7db3db1f-706a-48f6-88ad-672b47efdb4e 的 镜像 ， 存 放 的 文件 地 址 为 /var/lib/glance/images/7db3db1f-706a-48f6-88ad-672b47efdb4e， 创 建 时 间 为 


2013-10-09 15 : 28 : 30， 没 有 被 删除 。 
(2) images 


images 表 中 存放 了 大 多 数 的 镜像 的 数据 ， 例 如 : 


glance=# select * from images; 


-[ RECORD 1 1] -==t-—— eoe. 
id 7db3db1f-706a-48f6-88ad-672b47efdb4e 
name myFirstImage 

size 9761280 

status deleted 

is_public t 

created at 2013-10-09 15:28:30.733218 

updated at 2013-10-09 16:07:45.87455 

deleted at 2013-10-09 16:07:45.874117 

deleted t 

disk format qcow2 

container format | bare 

checksum 50bdc35edb03a38d91b1b071afb20a3c 
owner 8012488bffae4b85ab7421e69b814fa8 
min disk 0 

min ram 0 

protected f 

-[ RECORD 2 ]----4------------------------------------- 
id 357640c6-2d5e-4ad6-ab96-7962£8052bd1l 
name myFirstImage 

size 9761280 

status active 

is public tB 

created at 2013-10-09 16:08:07.999238 

updated at 2013-10-09 16:08:08.105406 
deleted at 

deleted T 

disk_format qcow2 

container format bare 

checksum ` 50bdc35edb03a38d91b1b071afb20a3c 
owner 8012488bffae4b85ab7421e69b814fa8 
min disk 0 

min ram 0 

protected f 


这 两 条 记录 ， 一 条 是 已 经 删除 的 镜像 ， 另 一 条 是 存在 的 镜像 记录 。 这 里 记录 了 镜像 的 名 字 、 状 态 、 大 小 、 是 否 删除 等 属性 。 下 文 我 们 将 会 陆续 介绍 这 些 属性 。 


(3) migrate version 


migrate_version 表 记录 的 是 Glance 数 据 库 版 本 的 数据 ， 可 以 查看 该 表 的 一 个 记录 ， 其 代码 如 下 : 


-[ RECORD 1 ]---+------------------------------------------------------------------- 
repository id | Glance Migrations 

repository path | /usr/lib/python2.7/dist-packages/glance/db/sqlalchemy/migrate repo 
version | 22 


6.1.2 ”Glance 中 镜像 的 概念 


1. 镜 像 状态 


虚拟 机 镜像 在 Glance 中 存放 的 时 候 会 有 多 种 状态 ， 上 一 节 说 到 在 数据 库 中 就 有 active 和 deleted 状 态 。 状 态 是 Glance 这 个 组 件 的 程序 定义 的 ， 和 底层 的 虚拟 机 镜像 的 实际 情况 无 关 。 下 面 介绍 一 下 镜像 


在 Glance 中 的 各 种 状态 。 


(1) queued 


从 字面 上 看 ，queued 状 态 可 以 理解 为 镜像 进入 队列 ， 实 际 上 它 表 明 上 传 一 个 镜像 时 ， 请 求 被 Glance Registry 服 务 接受 ， 并 | 


(2) saving 
saving 状 态 表 明镜 像 的 数据 正在 被 上 传 到 Glance 中 。 视 镜像 的 大 小 ， 这 个 状态 耗 时 也 会 不 同 。 


(3) active 


目 分 配 了 一 个 对 应 该 镜像 的 标识 。 这 个 状态 没有 任何 数据 上 传 到 Glance 中 。 


active 状 态 表明 镜像 在 Glance 中 已 经 可 用 了 。 当 镜像 的 数据 完全 上 传 到 Glance 中 后 就 会 转变 成 这 个 状态 。 再 次 声明 一 下 ，active 表 明镜 像 完 全 上 传 到 Glance 中 ， 可 以 在 OpenStack 中 使 用 了 ， 但 并 不 表 


了 明 这 个 镜像 生成 的 虚拟 机 一 定 能 启动 。 


(4) killed 


killed 状 态 表示 在 上 传 镜像 数据 的 过 程 中 发 生 了 错误 ， 壁 如 上 传 过 程 中 网 络 终端 人 为 地 被 取消 了 。 这 个 状态 的 image 是 不 可 用 的 。 


(5) deleted 


在 deleted 状 态 中 ，Glance 会 保留 镜像 的 数据 库 信息 ， 但 是 用 户 已 经 无 法 使 用 镜像 ， 镜 像 的 磁盘 数据 会 在 一 个 定义 的 时 间 后 


(6) pending delete 


pending_delete 状 态 和 deleted 类 似 ， 区 别 在 于 Glance 不 会 删除 镜像 的 数据 ， 因 此 ， 这 个 状态 中 的 镜像 是 可 以 恢复 的 。 


2 镜像 的 格式 


刚刚 接触 虚拟 化 技术 的 用 户 可 能 对 镜像 格式 这 个 概念 有 些 陌 生 。 简 单 来 阅 ， 不 同 的 厂商 有 自己 的 虚拟 化 技术 ， 璧 如 VMware 


、Critix、Hyper-V， 它 们 都 使 用 不 同 的 虚拟 化 技术 ， 因 此 ， 在 对 虚拟 机 磁盘 


格式 的 定义 上 ， 有 自己 遵循 的 标准 。 通 常 来 说 ， 一 个 已 安装 了 操作 系统 的 虚拟 机 磁盘 可 能 仅仅 是 单个 文件 ， 但 是 这 个 单个 文件 的 格式 因 不 同 厂 商 的 不 同 虚 拟 化 软件 而 各 有 不 同 。 


OpenStack 中 可 以 支持 多 种 虚拟 化 的 技术 ， 如 KVM、XenServer、Hyper-V 和 VMware 等 。 用 户 在 上 传 镜像 时 ， 必 须 指 定 上 传 镜像 文件 的 格式 (Disk Format) 。 此 外 ， 在 Glance 中 还 有 容器 的 格式 
(Container Format) 。 容 器 格式 用 来 表示 虚拟 机 镜像 文件 是 否 为 一 个 包含 了 元 数据 的 镜像 文件 ， 例 如 OVF 格 式 。 目 前 在 Glance 中 ， 并 没有 真正 使 用 到 容器 格式 ， 上 传 镜像 文件 时 只 需要 把 Container 


Format 设 置 为 bare (Z3) 即 可 。 下 面 列 出 了 在 OpenStack 中 镜像 文件 常用 的 几 种 格式 。 


(1) RAW 


RAW 即 常 说 的 裸 格式 ， 它 其 实 就 是 没有 格式 ， 最 大 的 特点 就 是 简单 ， 数 据 写 入 什么 就 是 什么 ， 不 做 任何 修饰 ， 所 以 在 性 能 方面 很 不 错 ， 甚 至 不 需要 启动 这 种 镜像 的 虚拟 机 ， 只 需要 把 文件 挂 载 ， 即 可 直 
接 读 写 内 部 数据 。 并 且 由 于 RAW 格式 简单 ， 因 此 RAW 和 其 他 格式 之 间 的 转换 也 更 容易 。 在 KVM 的 虚拟 化 环境 下 ， 有 很 多 使 用 RAW 格式 的 虚拟 机 。 


(2) qcow2 


qcow2 是 qcow 的 升级 版 本 ， 它 是 QEMU 的 CopyOn Write 特性 的 磁盘 格式 ， 特性 是 磁盘 文件 大 小 可 以 随 着 数据 的 增加 而 增长 。 久 如 创建 一 个 10GB 的 虚拟 机 ， 实 际 虚拟 机 内 部 只 用 了 5GB， 那 么 初 
始 的 qcow2 磁 盘 文件 大 小 就 是 5GB。 与 RAW 相 比 ， 使 用 这 种 格式 可 以 节省 一 部 分 空间 资源 。 


(3) VHD 


VHD 也 是 一 种 通用 的 磁盘 格式 。 微 软 公司 的 Virtual PC 和 Hyper-V 使 用 的 就 是 VHD 格 式 。VirtualBox 也 提供 了 对 VHD 格 式 的 支持 。 如 果 要 在 OpenStack 上 使 用 Hyper-V 的 虚拟 化 ， 就 应 该 上 传 VHD 格 式 
的 镜像 文件 。 


(4) VMDK 


VMware 创建 的 一 个 虚拟 机 磁盘 格式 ， 目 前 也 是 一 个 开放 的 通用 格式 ， 除 了 VMware 自家 的 产品 外 ，QEMU 和 VirtualBox 也 提供 了 对 VMDK 格 式 的 支持 。 


(5) VDI 


Oracle 公 司 的 VirtualBox 虚 拟 软件 所 使 用 的 格式 。 


(6) ISO 


1SO 是 指 一 种 存档 数据 文件 在 光盘 上 的 格式 。 


(7) AKI, ARI, AMI 


Amazon 公 司 的 AWS 所 使 用 的 镜像 格式 。 


6.2 ”Glance 的 配置 文件 


Glance 有 很 多 的 选项 用 来 配置 Glance API 和 Glance Registry 这 两 个 服务 。Glance API 和 Glance Registry 的 配置 文件 分 别 放 在 两 个 文件 中 ，Glance 的 大 多 数 配置 通过 这 两 个 配置 文件 来 实现 。 启 动 
Glance 服 务 时 ， 可 以 通过 参数 指定 配置 文件 的 路 径 。 如 果 不 指定 路 径 名 ， 就 会 在 下 列 目录 中 寻找 配置 文件 : 


~/.glance 


/etc/glance 
/etc 


Glance API 服 务 的 配置 文件 是 glance-api.conf，Glance Registry 服 务 的 配置 文件 是 glance-registry.conf。 二 进 制 包 方式 安装 的 Glance， 配 置 文件 会 放 在 /etc/glance 下 ， 但 是 通过 二 进 制 包 方式 安装 
后 的 配置 文件 并 不 包含 所 有 选项 ， 默 认 打开 的 是 一 些 常规 选项 。 如 果 从 GitHub 上 或 OpenStack 官 方 网 站 下 载 源 代码 包 ， 可 在 包 的 etc/glance 下 找到 Glance 的 配置 文件 ， 其 中 所 有 的 选项 都 是 注释 掉 的 ， 阅 
读 这 些 配置 文件 可 了 解 Glance 的 所 有 配置 选项 。 


配置 文件 使 用 的 是 INI 文 件 格式 ， 由 一 个 个 的 section 组 成 ， 使 用 Paste 的 方式 为 section 中 WSG| 应 用 程序 配置 。 可 以 看 一 下 /etc/glance/glance-api.conf 配 置 文件 ， 全 局 设置 放 在 [DEFAULT] 下 ， 此 外 在 
[keystone_authtoken]、[paste_deploy] 的 section 中 也 有 配置 。 


6.2.1 glance-api.conf 文 件 概述 


可 在 [DEFAULT] 中 进行 下 面 一 些 设置 。 


1. 默 认 配置 


Verbose = False 


默认 是 关闭 ， 打 开 此 选项 ， 可 以 让 日 志 输 出 中 包含 更 多 的 详细 信息 。 建 议 在 测试 和 开发 时 打开 这 个 选项 。 


debug = False 


默认 是 关闭 ， 打 开 此 选项 ， 可 以 在 日 志文 件 中 显示 Debug 的 信息 。 建 议 在 测试 和 开发 时 打开 这 个 选项 。 


default store = file 


默认 值 是 file， 这 个 选项 定义 Glance 后 端 如 何 存放 镜像 文件 。file 指 定 了 使 用 本 地 的 目录 ， 通 过 设置 这 个 值 ， 可 以 使 用 Swift、Cinder、Ceph、S3 等 外 部 存储 。 


image size cap = 1099511627776 


默认 值 是 1TB， 这 个 选项 定义 了 允许 上 传 的 镜像 最 大 值 。 当 然 ， 这 个 默认 值 如 此 大 ， 足 够 满足 用 户 日 常 所 需 ， 可 以 注释 掉 。 


bind host = 0.0.0.0 


设置 监听 的 IP 地 址 。 如 果 是 实际 生产 环境 ， 则 可 以 让 Glance 监 听 管 理 网 段 所 在 的 IP 来 提高 安全 性 。 
bind port = 9292 


设置 监听 的 端口 ， 默 认 是 9292。 


log file = /var/log/glance/api.log 


设置 glance-api 服 务 的 输出 日 志文 件 ， 默 认 值 为 /var/log/glance/api.log。 


backlog = 4096 
sql_connection = 


设置 Glance 数 据 库 地 址 ， 很 重要 ， 必 须 设置 正确 。 数 据 库 支持 SQLite、MySQL 和 PostgreSQL。 


sql idle timeout = 3600 


MySQL 数 据 库 默 认 的 wait_timeout 值 是 8 小 时 ， 意 味 着 MySQL 会 在 8 小 时 后 断 开 一 个 没有 交互 的 连接 ， 如 果 这 个 时 候 还 有 查询 在 进行 ， 会 产生 一 个 “MySQL Gone Away” 的 异常 ， 设 置 1 小 时 的 


sqlidle_timeout 值 ， 可 确保 SQLAIchemy 在 断 开 连 接 前 重新 连接 MySQL。 

workers = 1 

设置 Glance API 的 工作 进程 数 ， 如 果 服 务 器 有 多 个 CPU， 则 可 以 把 这 个 值 设置 成 CPU 的 个 数 。 这 样 可 以 提高 Glance API 处 理 效率 

db auto create = False 

这 个 选项 表明 启动 glance-api 服 务 时 ， 是 否 初始 化 创建 Glance 数 据 库 的 表 。 在 本 书 的 安装 环节 ， 是 通过 手动 运行 “glance-manage db sync" 的 方式 来 初始 化 数据 库 表 的 。 默 认 这 个 选项 是 关闭 的 。 
2. 配 置 使 用 SSL 


Glance 支 持 使 用 SSL 加 密 的 数据 传输 ， 但 默认 安装 的 配置 文件 中 ， 不 使 用 SSL， 因 此 以 下 参数 都 不 用 设置 。 如 果 想 让 Glance 使 用 SSL， 则 必须 正确 设置 下 列 各 个 参数 。 


cert file = 


设置 SSL 中 certificate 证 书 文件 的 路 径 。 


key file = 


设置 glance-api 需 要 用 到 的 私 钥 路 径 。 


ca file - 


设置 SSL 中 用 来 签发 客户 证 书 的 根 CA 证 书 路 径 。 


3. 与 glance-registry 通 信 的 配置 


glance-api 接 收 到 API 的 请 求 需要 传递 给 glance-registry 进 行 处 理 ， 下 面 介绍 和 Registry 服 务 器 通信 的 设置 。 


registry client protocol = http 


如 果 与 glance-registry 不 采用 SSL 加 密 传输 ， 那 么 这 个 选项 的 默认 值 是 HTTP; 如 果 使 用 SSL， 则 需要 设置 成 HTTPS。 注 意 ， 这 个 值 取决 于 glance-registry 是 否 采 用 SSL。 可 以 把 glance-api 看 成 Registry 
的 dlient, 设置 了 HTTPS， 就 必须 设置 registry_client_key file 和 registry_client_cert file 这 两 个 参数 。 


registry host = 0.0.0.0 


设置 用 来 发 现 Registry 服 务 的 地 址 。 如 果 明 确 知道 Registry 的 IP 地 址 ， 则 应 当 修 改 这 个 选项 。 


registry port = 9191 


设置 glance-api 需 要 访问 的 glance-registry 端 口 。 


Qs È 这 里 设置 的 不 是 glance-registry 监 听 的 端口 。 


registry client key file = 


如 果 registry_client_protocol 使 用 HTTPS， 则 这 里 需要 设置 客户 端 连 接 Registry Server 所 使 用 的 私 钥 路 径 (如 果 glance-api 与 glance-registry 部 署 在 同一 服务 器 上 ， 可 以 使 用 相同 的 私 钥 ) 。 


registry client cert file = 


设置 客户 端的 证 书 文件 路 径 。 


registry client ca file = 


设置 签名 客户 端 证 书 的 根 CA 证 书 路 径 。 


registry client insecure = False 


定义 连接 到 glance-registry 服 务 器 时 是 否 要 经 过 CA 证 书 验证 机 构 的 验证 ， 默 认 是 False， 即 不 使 用 不 安全 的 连接 。 


registry client timeout = 600 


设置 glance-api 等 待 glance-registry 服 务 的 超时 时 间 。 当 设置 为 0 时 ， 表 示 永 远 不 会 超时 。 


4 通知 系统 选项 


在 Glance 中 ， 创 建 、 更 新 或 者 删除 镜像 时 ， 可 以 向 系统 发 送 通知 。 有 四 种 发 送 通知 的 方式 ， 即 日 ; 


志文 件 ) 、rabbit 和 qpid。 默 认 是 noop， 即 不 发 送 任何 通知 。 


notifier strategy = noop 


如 果 使 用 rabbit 或 qpid， 就 需要 设置 notifier_strategy， 并 且 要 设置 各 


相应 的 参数 。 这 里 不 做 


5. 后 端 文件 系统 存储 


前 面 在 配置 文件 中 定义 过 default_store 这 个 参数 ， 当 定义 成 不 同 的 值 时 ， 需 要 为 每 个 后 端 存 储 定义 一 些 选 项 。 下 面 以 default_store = file 时 的 选项 设置 为 例 来 进行 说 明 ， 相 关 代码 比较 简单 。 


filesystem store datadir = /var/lib/glance/images/ 


该 示例 的 含义 是 将 images 存 放 在 磁盘 上 的 一 个 目录 中 ， 具 体 目录 可 以 根据 需要 改变 选项 值 。 


下 文 会 详细 介绍 后 端 存储 使 用 Ceph 和 Swift 时 需要 设置 的 选项 。 


6. 延 时 删除 


在 Glance 的 项 目 中 ， 有 一 个 服务 叫做 glance-scrubber， 开 启 这 个 守护 进程 ， 可 以 响应 预 删除 镜像 的 请 求 。 如 果 在 API 的 配置 文件 中 ， 设 置 延 时 删除 的 选项 ， 那 么 镜像 会 被 预 删除 ， 直 到 一 定时 间 后 ， 镜 


像 才 会 真正 地 被 从 磁盘 上 删除 。 此 功能 需要 同时 运行 glance-scrubber 服 务 。 


delayed delete = False 


设置 是 否 启用 延 时 删除 。 


scrub time = 43200 


设置 延 时 删除 需要 等 候 的 时 间 ， 即 多 少时 间 后 真正 地 删除 镜像 。 


scrubber datadir = /var/lib/glance/scrubber 


设置 延 时 删除 的 数据 目录 。 


6.2.2 ”配置 镜像 缓存 


所 谓 镜像 缓存 ， 实 际 上 是 在 镜像 存放 的 目录 之 外 再 复制 一 份 副本 ， 存 放 到 其 他 地 方 作为 缓存 ， 其 作 
的 数量 也 随 之 增加 时 很 有 用 。 在 glance-api 中 使 用 镜像 缓存 对 用 户 来 说 是 透明 的 ， 即 用 户 不 知道 所 请 求 的 


1. 配 置 glance-api 


多 个 glance-api 来 提供 同一 份 镜像 文件 ， 这 个 功能 在 OpenStack 规 模 增长 后 ， 请 求 镜像 


自 镜像 存放 的 目录 ， 还 是 缓存 存放 的 目录 。 


首先 需要 添加 Image Cache Middleware， 默 认 安装 的 情况 下 ， 在 glance-api-paste-ini 文 件 中 ， 已 经 设置 了 几 个 使 用 Cache 的 中 间 件 ， 其 代码 如 下 : 


# Use this pipeline for image caching and no auth 
[pipeline:glance-api-caching] 

pipeline - versionnegotiation unauthenticated-context cache rootapp 

# Use this pipeline for caching w/ management interface but no auth 
[pipeline:glance-api-cachemanagement] 

pipeline - versionnegotiation unauthenticated-context cache cachemanage rootapp 
# Use this pipeline for keystone auth with image caching 
[pipeline:glance-api-keystone-*caching] 

pipeline - versionnegotiation authtoken context cache rootapp 

# Use this pipeline for keystone auth with caching and cache management 
[pipeline:glance-api-keystone-*cachemanagement] 

pipeline = versionnegotiation authtoken context cache cachemanage rootapp 


上 述 代码 提供 了 两 种 方式 : caching 和 cachemanagement。 在 这 里 选用 cachemanagement， 


Keystone 的 认证 方式 ， 所 以 Keystone+cachemanagement 的 中 间 件 是 比较 好 的 选择 。 


在 glance-api.conf 中 启用 缓存 管理 ， 设 置 如 下 : 


为 这 个 中 间 件 有 使 用 glance-cache-manage 命 令 管理 缓存 镜像 的 功能 ， 而 且 本 书 示 例 使 用 的 是 


[paste deploy] 
flavor-keystone-*cachemanagement 


设置 Cache 存 放 的 目录 ， 其 代码 如 下 : 


image cache dir = /var/lib/glance/image-cache/ 


接 下 来 配置 glance-cache.conf 文 件 ， 主 要 是 配置 控制 image-cache 的 一 些 选项 ， 其 中 image_cache _dir 这 个 参数 的 值 必须 和 glance-api 中 的 值 一 样 ， 其 代码 如 下 : 


image cache dir = /var/lib/glance/image-cache/ 


还 可 以 配置 本 地 缓存 的 容量 上 限 ， 如 : 


image cache max size = 10737418240 


如 果 所 有 已 经 缓存 的 镜像 的 大 小 总 和 超过 了 这 个 数值 ， 则 可 使 用 glance-cache-pruner 命 令 清理 Cache， 使 


总 和 小 于 该 数值 。 即 使 在 总 和 超过 这 个 数值 的 情况 下 ，glance-api 仍 然 可 以 添加 cache， 这 


个 选项 并 不 会 阻止 添加 操作 的 完成 。 举 个 例子 ， 这 个 选项 的 设 定 值 为 15GB， 已 有 一 个 10GB 和 一 个 2GB 的 镜像 缓存 ， 现 在 glance-api 又 顺利 缓存 了 一 个 5GB 的 镜像 ， 这 样 缓存 的 总 和 达到 了 17GB。 此 时 运行 


glance-cache-pruner 可 进行 缓存 清理 ， 将 删除 一 些 缓存 ， 保 证 其 总 和 小 于 15GB 这 个 设 定 值 。 


如 果 使 用 Keystone， 则 必须 设置 以 下 几 个 认证 : 


# Auth settings if using Keystone 

auth url = http:// 127.0.0.1:5000/v2.0/ 
admin tenant name = $SERVICE TENANT NAME$ 
admin user = $SERVICE USERS ` T 
admin password = %SERVICE_PASSWORD% 


3E cede e 


另外 ，Cache 也 可 以 使 用 Swift、S3、Cinder 作 为 后 端的 Cache 存 储 ， 它 们 的 配置 与 glance-api 类 似 ， 这 里 不 做 介绍 。 


2. 使 用 glance-cache 


配置 好 了 glance-cache， 下 面 来 看 看 它 是 如 何 工作 和 使 用 的 。Cache 和 glance-api、glance-registry 不 同 ， 它 没有 可 以 启动 的 守护 (daemon) 进程 。API 成 功 提交 GET/images/<IMAGE ID> 后 ， 当 
compute 启 动 虚拟 机 时 ， 会 向 Glance 请 求 image 来 生成 虚拟 机 ， 此 时 glance-api 就 触发 了 ， 把 image 同 时 写 入 cache 中 。 读 者 可 以 自己 尝试 一 下 。 被 缓存 的 镜像 不 能 进行 自动 管理 ， 璧 如 删除 等 ， 需 要 进行 
人 工 操作 ， 这 就 需要 用 到 下 面 介绍 的 几 个 相关 命令 : 


glance-cache-pruner 


该 命令 在 上 文 介绍 glance-cache.conf 配 置 文件 中 的 image_cache_max_size 参 数 时 讲 过 ， 运 行 glance-cache-pruner 可 保证 Cache 的 总 和 不 超过 设 定 的 image_cache_max_size 的 值 ， 可 以 把 它 放 在 
crontab 中 设置 为 定期 运行 。 


glance-cache-cleaner 


该 命令 是 用 来 实现 清除 无 效 缓存 的 。 在 日 常 运行 中 ，Cache 中 难免 会 出 现 stalled 或 invalid 状 态 。stalled 状 态 是 由 于 镜像 未 能 完成 百分之百 地 写 入 ，invalid 状 态 是 无 法 正确 地 写 磁 盘 而 导致 的 。 可 以 运行 
glance-cache-cleaner 命 令 来 删除 这 些 处 于 错误 状态 的 Cache images。 推 荐 把 这 个 命令 加 入 crontab 以 实现 定时 清除 任务 。 


glance-cache-manage 


这 个 命令 有 几 个 参数 ， 壁 如 : 


# glance-cache-command list-cached 


该 命令 列 出 所 有 已 经 缓存 的 镜像 。 另 外 ， 也 可 直接 使 用 “ls $IMAGE_CACHE_DIR” 命 令 来 查看 目录 下 的 缓存 镜像 ，$IMAGE_CACHE_DIR 是 在 配置 文件 中 设置 的 存放 镜像 缓存 的 目录 。 


# glance-cache-command delete-all-cached-images 


该 命令 将 删除 所 有 缓存 的 镜像 。 


# glance-cache-command queue-image 


前 面 介 绍 过 预存 镜像 到 缓存 的 队列 的 命令 ， 那 个 命令 将 把 队列 中 需要 缓存 的 镜像 真正 缓存 起 来 。 缓 存 执行 成 功 后 ， 可 以 通过 “glance-cache-manange list-cached” 命 令 查看 是 否 已 经 被 缓存 。 但 有 
时 可 能 会 使 用 某 个 访问 频繁 的 镜像 ， 而 这 个 镜像 还 没 使 用 过 ， 暂 时 没有 被 缓存 ， 用 户 也 许 希望 能 预先 把 它 放 入 缓存 ， 这 时 就 需要 用 到 预 缓存 命令 。 首 先 ， 使 用 “glance image-list” 命 令 得 到 想 预存 的 镜像 
的 UUID， 然 后 使 用 “glance-cache-command queue-image«UUID" > 命令， 把 这 个 UUID 放 入 缓存 镜像 的 队列 。 可 以 通过 “glance-cache-command list-queued" 命令 查看 队列 中 的 镜像 。 记 住 ， 
此 时 仅仅 是 加 入 队列 ， 并 未 真正 地 缓存 。 


an 


其 他 参数 可 以 直接 通过 输入 glance-cache-command 命 令 来 查询 : 


glance-cache-prefetcher 


6.2.3 glance-registry.conf 文 件 概述 


glance-registry 的 配置 选项 在 glance-api.conf 的 配置 文件 中 基本 上 都 有 ， 读 者 可 以 查看 相应 的 选项 参数 说 明 。 下 面 是 两 个 例外 的 选项 : 


api limit max = 1000 


该 选项 设 定 了 可 以 返回 的 AP 查询 结果 的 最 大 数目 。 


如 果 Glance API 查 询 中 没有 设 定 limit 参 数 ， 就 默认 使 用 下 面 的 选项 : 


limit param default = 25 


举例 来 说 明 以 上 两 个 参数 。 在 使 用 API 时 ， 可 以 在 API 请 求 中 传递 limit 参 数 ， 壁 如 指定 值 为 10， 此 时 使 用 “glance image-list” 命 令 查询 镜像 列表 ， 如 果 镜 像 有 11 个 ， 那 么 从 Registry 得 到 的 结果 也 只 会 
是 10 个 。 读 者 可 以 尝试 着 修改 max 数 值 ， 看 看 超出 后 ， 系 统 是 不 是 只 返回 设 定 的 最 大 值 。 


6.3 ”设置 Glance 的 后 端 存储 


Glance 可 以 使 用 多 种 不 同 的 后 端 存 储 。 外 部 存储 有 着 各 自 不 同 的 优点 和 特性 ， 比 起 本 地 目录 ， 它 们 可 以 提供 许多 额外 的 特性 ， 能 够 提高 读 写 性 能 和 数据 的 安全 宛 余 度 。 接 下 来 将 介绍 如 何 使 用 外 部 存储 
作为 Glance 的 后 端 。 


Ceph 是 一 个 开源 、 统 一 、 分 布 式 的 存储 系统 ， 提 供 了 一 种 便捷 ， 可 大 规模 扩展 的 存储 平台 ， 它 成 本 低廉 却 能 提供 商业 存储 的 数据 安全 和 高 性 能 。Openstack 在 Folsom 版 本 的 时 候 就 已 经 将 Ceph 集 成 在 
内 。Ceph 可 以 提供 给 Glance 和 Cinder 组 件 作为 外 部 存储 服务 。 下 面 将 介绍 Glance 如 何 使 用 Ceph 的 块 设备 作为 存储 后 端 。 在 阅读 此 节 内 容 前 ， 需 先 确 保有 一 个 可 以 使 用 的 Ceph 集 群 。 如 果 还 没有 部 署 Ceph 
环境 ， 那 么 读者 可 参阅 Ceph 官 方 文档 自行 部 署 。 


1. 配 置 Ceph 端 


在 默认 安装 情况 下 ，Ceph block devices ( 块 设备 ) 使 用 一 个 已 有 的 RBD 的 pool 池 ， 可 以 使 用 该 pool 池 或 任何 其 他 可 | 
Glance 使 用 ， 其 命令 如 下 : 


的 pool 来 作为 Glance 的 后 端 存储 。 在 这 里 新 建 一 个 名 为 images 的 pool 来 给 


# ceph osd pool create images 128 


把 在 Ceph 上 的 配置 文件 复制 到 glance-api 服 务 器 的 /etc/ceph 下 ， 其 代码 如 下 。 需 确保 在 glance-api 节 点 上 先 创建 一 个 空 目录 /etc/ceph。 


# SCP /etc/ceph/ceph.confN 
# 10.80.80.10://etc/ceph/ceph.conf 


该 命令 中 10.80.80.10 是 glance-api 节 点 的 IP 地 址 。 


如 果 在 Ceph 中 启用 了 CephX 认 证 ， 就 需要 在 Ceph 上 为 Glance 创 建 一 个 新 的 用 户 ， 并 且 把 | 
auth_supported 参 数 ， 其 代码 如 下 : 


户 认证 的 密 钥 复 制 到 glance-api 服 务 器 上 。 确 定 是否 


启用 CephX 认 证 ， 可 以 在 ceph.conf 中 查看 


# ceph auth get-or-create client.images mon 'allow r' osd 'allow class-read 
object prefix rbd children, allow rwx pool-images' 

# ceph auth get-or-create client.images | ssh 10.80.80.10 sudo tee /etc/ceph/ 
ceph.client.images.keyring 


2.glance-apilim; 


把 传 来 的 /etc/ceph/ceph.client.images.keyring 文 件 属 主 改 成 glance:glance， 其 代码 如 下 : 


# chown glance:glance /etc/ceph/ceph.client.images.keyring 


修改 glance-api.conf 配 置 文件 中 的 以 下 三 个 选项 : 


default store-rbd 
rbd store user-images 
rbd store pool-images 


重启 glance-api 服 务 ， 然 后 上 传 一 个 镜像 ， 在 Ceph 端 查看 images pool 是 否 有 数据 写 入 。 


64 ”制作 镜像 


制作 镜像 的 任务 已 经 超出 了 OpenStack 本 身 的 范畴 。 读 者 可 以 f 


任意 一 种 喜欢 的 方式 手动 创建 一 台 虚 拟 机 ， 然 后 上 传 到 Glance 服 务 中 。 可 以 利用 VMware Workstation 或 VirtualBox 等 软件 的 GUI 图 
化 方式 很 方便 地 新 建 一 台 虚 拟 机 ， 加 载 1SO， 从 ISO 安装 操作 系统 ， 于 是 一 台 虚拟 机 就 创建 完成 了 。 虚 拟 机 通常 由 一 个 磁盘 文件 (虚拟 机 的 硬盘 ) 和 一 些 配置 文件 组 成 。 可 以 用 工具 把 磁盘 文件 (VMDK、 
VDI 等 ) 转 成 RAW 格式 ， 然 后 上 传 到 Glance 中 。 在 服务 器 上 ，VMware ESXi、KVM、XenServer、Hyper-V 等 也 有 各 自 的 GUI 图 形 化 界面 ， 但 是 很 多 时 候 ，Linux 的 服务 器 上 没有 安装 X11 图 形 化 工具 ， 无 


法 使 用 GUI 来 创建 虚拟 机 ， 因 此 ， 在 本 节 仅仅 介绍 在 没有 图 形 化 的 情况 下 ， 如 何在 Linux 下 使 用 KVM 创 建 RAW (或 qcow2) 格式 的 镜像 ， 即 在 命令 行 下 创建 虚拟 机 。 在 此 需要 用 到 服务 器 端的 VNC server, 
同时 ,需要 有 VNC client 连 接 到 服务 器 上 ， 显 示 虚 拟 机 的 图 像 画面 。 


形 


[ 


6.4. 使 用 virt-install 创 建 CentOS 镜 像 


首先 确保 系统 可 以 运行 virt-install 命 令 。 如 果 运 行 的 是 Upuntu 系 统 ， 则 可 能 需要 安装 相关 软件 包 ， 其 代码 如 下 : 


# apt-get install virtinst 


然后 ， 创 建 一 块 空 的 虚拟 机 的 硬盘 ， 其 实 就 是 一 个 特定 image 格 式 的 文件 。 在 这 里 使 用 qcow2 的 格式 ， 因 


为 它 可 以 随 容量 的 增加 而 增 大 ， 以 节省 空间 ， 其 代码 如 下 : 


# qemu-img create -f qcow2 centos.qcow2 10G 


Formatting 'centos.qcow2', fmt-qcow2 size-10737418240 encryption-off cluster size 
765536 


准备 好 操作 系统 的 ISO 文件 ， 然 后 使 用 以 下 命令 : 


# virt-install --virt-type kvm --name CentOS6U4 --ram 1024 --cdrom- 
CentOS-6.4-x86 64-netinstall.iso --disk centos.qcow2,qcow2 --network network- 
default --graphics vnc,listen-0.0.0.0 --noautoconsole 
Starting installhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
Creating domainhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
0B 00:00 


Domain installation still in progress. You can reconnect to the console to complete 
the installation process. 


在 上 述 命令 中 ， 参 数 virt-type 表 示 使 用 KVM 的 虚拟 化 技术 ，--name 设 置 名 称 为 CentOS6U4，--cdrom 指 定 操作 系统 安装 的 ISO 文件 ，--disk 指 定 虚 拟 机 硬盘 的 文件 路 径 ， 并 且 设置 格式 为 gcow2，-- 
network 使 用 默认 的 default 网 络 ， 最 后 设置 VNC 的 端口 和 监听 的 IP。 


Qi default 网 络 是 libvirt 默 认 的 一 个 网 络 ， 用 “virsh net-list” 命 令 可 以 确认 。 在 服务 器 上 用 ifconfig 命 令 可 以 看 到 有 一 个 叫做 vitbr0 的 interface， 这 是 一 个 虚拟 的 网 口 ， 网 络 地 址 是 


192.168.122.0/24，default 就 是 这 个 网 络 ， 它 与 虚拟 机 相连 ， 并 且 有 一 个 dnsmasq 服 务 提 供 DHCP 等 服务 ，libvirt 使 用 iptables 做 NAT， 让 虚拟 机 通过 该 网 络 连接 外 网 。 


成 功 启动 安装 后 ， 使 


VNC 的 客户 端 ， 在 Windows 上 可 以 安装 TightVNC， 在 BSD、Linux 上 可 以 安装 SSVNC 等 VNC 的 客户 端 软 件 。 需 要 确定 VNC 的 端口 ， 运 行 以 下 命令 : 


# virsh vncdisplay CentOS6U4 
:20 


20 即 虚拟 机 使 用 的 VNC 端 口 。 可 以 用 VNC 客 户 端 访问 10.80.80.101:20， 这 里 假设 10.80.80.101 是 有 


来 安装 虚拟 机 的 服务 器 IP 地 址 。 打 开 VNC 后 ， 就 可 以 像 平 时 安装 CentOS 一 样 操 作 。 在 分 区 时 ,可 以 


去 掉 Swap 分 


fx] 


为 OpenStack 的 Flavor 中 会 有 Swap 的 选项 。 可 以 使 用 默认 的 LVM， 也 可 以 自行 分 区 。 


正常 安装 完 系统 之 后 ， 会 出 现 要 求 重启 的 界面 。 在 这 里 可 以 把 CDROM 中 的 ISO 去 掉 ， 用 “virsh dumpxml CentOS6U4” 命令 查 看 CDROM 的 配置 文件 ， 可 以 看 到 目前 已 加 载 了 CentOS 的 光盘 ， 其 代 
码 如 下 : 


«disk type-'file' device-'cdrom'» 

«driver name-'qgemu' type-'raw'/» 

«source file-'/share/image/CentOS-6.4-x86 64-netinstall.iso'/» 
«target dev-'hdc' bus-'ide'/» 

«readonly/» 

«alias name-'ide0-1-0'/» 

«address type-'drive' controller-'0' bus-'1l' target-'0' unit='0'/> 
«/disk» 


使 用 以 下 命令 卸载 光盘 ， 并 且 重新 启动 虚拟 机 : 


# virsh attach-disk --type cdrom --mode readonly CentOS6U4 "" hdc 
# virsh destroy CentOS6U4 
# virsh start CentOS6U4 


Qi 实践 证 明 可 以 不 卸载 虚拟 光盘 的 ISO， 因 为 重启 之 后 ISO 会 自动 印 载 。 另 外 ， 单 击 安装 界面 上 的 “reboot” 按 钮 后 ， 虚 拟 机 会 关闭 ， 但 不 会 自动 重启 ， 需 要 手动 重启 一 下 虚拟 机 。 


启动 之 后 ， 可 以 用 VNC 客 户 端 再 次 连接 。 这 时 可 以 安装 cloud-init 软 件 包 ， 用 来 获取 元 数据 (Metadata) 的 ， 壁 如 SSH 公 钥 注 入 、 主 机 名 注入 等 。 这 个 组 件 不 是 必需 的 ， 用 户 可 以 根据 自身 需要 来 安 
装 ， 其 代码 如 下 : 


# rpm -Uvh http:// download.fedoraproject.org/pub/epel/6/x86 64/epel-release-6-8 
.noarch.rpm 
# yum install cloud-init 


Ors 在 笔者 写本 节 时 ，EPEL 上 这 个 cloud-init 有 个 Bug (错误 ) ， 会 在 启动 的 时 候 添加 一 条 169.254.0.0/16 的 路 由 ， 从 而 导致 虚 拟 机 无 法 从 169.254.16.254 取 到 元 数据 。 建 议 跳 过 安装 cloud-init 这 一 
步 。 


为 了 让 CentOS 能 在 启动 时 通过 Nova Console 输 出 开机 日 志 ， 在 Dashboard 上 显示 云 主 机 控制 台 日 志 ， 需 要 设置 /boot/grub/menu.lst 配 置 文件 ， 
志 的 经 验 ， 就 能 理解 这 些 命令 其 实 是 在 设置 串口 控制 台 。 


代码 如 下 。 如 果 有 使 用 串口 输出 服务 器 引导 开机 日 


# vi /boot/grub/menu.lst 


# 

添加 下 面 两 行 

serial --unit-0 --speed-115200 
terminal --timeout-10 console serial 


# 

编辑 Kernel 

一 行 ， 在 末尾 加 入 console=tty0 console-ttyS0,115200n8 

kernel /boot/vmlinuz-2.6.32-358.e16.x86 64 ro root=UUID=a1835e29-e16f-446d- 
bba2-7551e27b005b rd NO LUKS rd NO LVM LANG-en US.UTF-8 rd NO MD SYSFONT- 
latarcyrheb-sunl6 crashkernel-auto  KEYBOARDTYPE-pc KEYTABLE-us rd NO DM rhgb 
quiet console-ttyO console-ttyS0,115200n8 


另外 ， 也 可 以 对 CentOS 镜 像 做 定制 化 工作 ， 完 成 之 后 ， 使 用 “shutdown” 命令 关闭 操作 系统 。 


最 后 ， 对 虚拟 机 做 一 些 清理 MAC 地 址 等 工作 。 操 作 系 统 在 实例 运行 时 会 把 虚拟 机 网 卡 的 MAC 地 址 写 入 配置 文件 /etc/sysconfig/network-scripts/ifcfg-eth0 和 /etc/udewrules.d/70-persistent- 
net.rules， 但 是 作为 镜像 使 用 时 ， 每 次 从 镜像 生成 虚拟 机 启动 ， 虚 拟 机 内 的 网 口 都 会 有 一 个 不 同 的 MAC 地 址 ， 因 此 ， 必 须 把 配置 文件 中 的 MAC 地 址 信息 擦 掉 。 可 以 手动 删除 ， 当 然 ， 也 可 以 使 用 工具 来 实 
现 。 


virt-sysprep 程 序 可 以 实现 多 种 清除 工作 ， 包 括 清除 MAC 地 址 等 。 要 使 用 这 个 软件 ， 必 须 首先 安装 libguestfs-tools 工 具 包 ， 并 确保 使 用 前 虚拟 机 已 经 被 关闭 。 


# yum install libguestfs-tools 
# virt-sysprep -d CentOS6U4 


完成 安装 后 ， 就 可 以 把 虚拟 机 磁盘 文件 一 一 centos.qcow2 文 件 通 过 Glance 上 传 到 OpenStack 中 了 。 最 后 ， 可 以 通过 virsh 命 令 把 虚拟 机 从 Hypervisor 中 删除 ， 其 代码 如 下 : 


# virsh undefine CentOS6U4 


642 在 Ubuntu 上 使 用 QEMU 相 关 命 令 制作 Windows 镜 像 


在 Ubuntu 上 ， 使 用 QEMU 软 件 也 可 以 安装 虚拟 机 ， 因 为 nova-compute 需 要 QEMU 的 依赖 ， 所 以 在 Openstack 的 环境 中 ， 可 以 利用 nova-compute 节 点 来 安装 虚拟 机 ， 而 不 再 需要 安装 virt 的 软件 包 。 
下 面 创建 一 个 Windows 2003 的 镜像 。 与 Linux 不 同 ，Windows 的 虚拟 机 需要 安装 VirtIO 的 驱动 ， 因 为 nova-compute 使 用 VirtIO 技 术 驱 动 虚拟 机 的 硬盘 和 网 卡 。 


安装 Windows 镜 像 前 的 基本 准备 工作 和 CentOS 一 样 ， 首 先 创建 一 个 虚拟 机 磁盘 文件 ， 其 代码 如 下 : 


# qemu-img create -f qcow2 windows2003 i386.qcow 10G 


然后 使 用 QEMU 的 相关 命令 模拟 一 台 虚 拟 机 。 由 于 Windows 的 安装 JSO 中 不 包含 VirtIO 驱 动 ， 因 此 必须 把 disk 的 类 型 设置 成 ide， 网 卡 也 用 默认 的 ， 其 代码 如 下 : 


4 qemu-system-x86 64 -m 1024 -cdrom cn win srv 2003 r2 enterprise with sp2 vl 
cd1 X13-46432.iso --drive Pile windows2003. 1386. qcow,if-ide, -boot d -net nic 
-net user -nographic -vnc 0.0.0.0: 


使 用 VNC 客 户 端 打开 10.80.80.10:5910， 正 常情 况 可 以 看 到 如 图 6-1 所 示 的 界面 。 


正常 安装 完成 后 ， 即 可 关闭 虚拟 机 。 在 这 里 需要 安装 Virt1O 的 驱动 ， 可 以 从 http://alt.fedoraproject.org/pub/alt/virtio-win/latest/images/ 下 载 virtio-win-*.iso 来 进行 安装 。 安 装 Virt1O0 的 思路 是 : 加 
一 块 新 的 硬盘 到 虚拟 机 中 ， 启 动 时 ，QEMU 设 定 这 块 硬盘 使 用 VirtIO， 启 动 后 ， 进 入 系统 ， 由 于 操作 系统 中 并 没有 VirtIO 的 驱动 ， 因 此 会 提示 出 现 新 硬件 ， 并 且 无 法 识别 。 可 以 通过 光盘 中 的 VirtIO 1SO 文 件 
安装 相应 的 驱动 。 不 能 将 系统 的 硬盘 直接 设置 成 使 用 VirtIlO， 那 样 的 话 系统 盘 会 由 于 缺少 驱动 而 用 不 了 。 网 卡 可 以 直接 设 定 为 使 用 VirtIlO， 然 后 安装 驱动 。 其 代码 如 下 : 


# qemu-img create -f qcow2 test 1G 

4 wget http:// alt.fedoraproject.org/pub/alt/virtio-win/latest/images/virtio-win- 
0.1-74.iso 

4 qemu-system-x86 64 -m 1024 -hda windows2003 1386.qcow -drive file-test,if-virtio- 


drive file-virtio-win-0.1-74.iso,media-cdrom,index-1 -net nic,model-virtio - 
net user -boot d -nographic -vnc 0.0.0.0:10 
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图 6-1 安装 Windows 镜 像 


在 设备 管理 器 中 ， 会 显示 需要 安装 SCSI 和 以 太 网 的 驱动 ， 如 图 6-2 所 示 。 


在 挂 载 的 VirtIO 光 盘 中 ， 选 择 合适 的 驱动 ， 如 图 6-3 所 示 。 


选择 需要 安装 的 驱动 (忽略 弹出 的 警告 信息 ) ， 单 击 “ 仍 然 继 续 ”按钮 ， 如 图 6-4 所 示 。 


安装 后 ， 打 开设 备 管理 器 ， 可 以 看 到 SCSI 和 以 太 网 已 安装 完毕 ， 如 图 6-5 所 示 。 


Windows 的 cloud-init 软 件 包 可 以 在 cloudbase 网 站 获取 ， 同 时 cloudbase 网 站 也 维护 着 在 hyper-V 上 使 用 的 nova-compute 等 软件 包 。 如 果 有 兴趣 将 Hyper-V 作 为 DpenStack 中 虚拟 计算 的 技术 ， 那 么 
学 习 这 个 网 站 中 的 内 容 是 一 个 入 门 的 好 途径 。 


安装 好 虚拟 机 的 驱动 ， 定 制 化 设置 或 软件 后 ， 打 开 Windows 的 远程 桌面 ， 然 后 就 可 以 关闭 虚拟 机 ， 把 它 上 传 到 OpenStack 的 Glance 中 了 。 
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图 6-2 SCSI 和 以 太 网 的 驱动 未 安装 
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71 ”Nova 组 件 介绍 

Nova 是 Openstack Compute 的 代号 ， 是 OpenStack 的 重要 组 成 部 分 ， 也 是 laaS 的 重要 组 成 部 分 ， 它 管理 OpenStack 的 计算 资源 。Nova 起 源 于 NASA Ames 实 验 室 。Rackspace 公 司 和 NASA 共 同 推 
动 了 Nova 的 开源 。 

Nova 设 计 原 则 : 

“ 基于 组 件 架构 ， 可 以 快速 添加 新 的 特性 。 

“ 高 可 用 ， 可 以 在 高 工作 负载 情况 下 伸缩 、 扩 展 。 

“ 容错 ， 可 进行 组 件 隔 离 ， 吕 免 级 联 故障 发 生 。 

:可 恢复 性 ， 很 容易 诊断 、 调 试 、 修 复 故障 。 

“ 开放 标准 ， 作 为 社区 驱动 API 的 参考 实现 。 

.API 兼容 性 ， 与 主流 云 计 算 平台 兼容 ， 如 亚马逊 公司 的 EC2。 


Nova 是 无 共享 、 基 于 消息 的 架构 ， 所 有 的 Nova 组 件 都 可 以 在 多 台 服 务 器 上 分 布 式 运行 ， 这 就 意味 着 大 多 数组 件 与 组 件 之 间 的 通信 都 需要 消息 队列 。 为 避免 等 待 时 的 阻塞 情况 ， 每 一 个 组 件 都 是 异步 响 
应 的 ， 只 有 收 到 消息 时 才 触 发 回调 。 在 Grizzly 版 本 之 前 ，Nova 所 有 组 件 都 会 与 数据 库 通信 ， 这 样 的 集中 数据 库 访问 在 小 规模 环境 下 是 个 不 错 的 选择 ， 但 对 于 一 个 有 1000 个 以 上 节点 的 大 规模 部 署 环境 来 
说 ， 则 会 产生 安全 问题 。 每 个 节点 都 具有 数据 库 访问 权限 ， 这 是 非常 不 合理 的 。 一 旦 一 台 服 务 器 被 攻破 ， 那 么 整个 云 环境 将 完全 暴露 在 外 。 在 Grizzly 版 本 之 后 ，Nova 组 件 不 再 直接 与 数据 库 交 互 ， 而 是 通过 
nova-conductor 组 件 做 代理 ， 例 如 nova-compute 所 有 数据 操作 均 通 过 消息 队列 交 由 nova-conductor 来 写 入 或 读 取 数 据 库 。 这 样 就 避免 了 直接 访问 数据 库 ， 提 高 了 安全 性 ， 也 更 加 灵活 。 


基于 AMQP 消 息 的 交互 方式 如 图 7-1 所 示 。 


图 7-1 基于 AMQP 消 息 的 交互 方式 


“数据库: SQL 数据 库 ， 进 行 数据 存储 。 

Web 界面 : 用 来 调用 API 的 外 部 组 件 ， 也 可 以 是 CLI。 

- API: 接收 HTTP 请 求 ， 转 换 成 内 部 命令 ， 并 将 结果 通过 AMQP 队 列 或 HTTP 应 答 返 回 。 

“ 授权 管理 : 负责 管理 用 户 /项 目 / 角 色 ， 后 端 数据 源 可 以 是 数据 库 或 LDAP。 

: 对 象 存储 : 类 似 Amazon S3 的 API， 可 为 HTTP 服 务 器 提供 图 像 存储 和 检索 (S3 或 Swift) 。 
“ 调度 : 决定 由 哪个 主机 运行 各 个 VM (简单 调度 、 复 杂 调 度 、 自 定义 调度 等 ) 。 

“网络: 管理 IP 转 发 、 网 桥 和 VLAN 等 模式 (nova-netwotk 或 Neuttron) 。 


DEAE: 管理 与 虚拟 机 管理 程序 和 虚拟 机 的 通信 (nova-compute) 。 
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7. ”Nova 组 件 介绍 

Nova 是 OpenStack Compute 的 代号 ， 是 OpenStack 的 重要 组 成 部 分 ， 也 是 laaS 的 重要 组 成 部 分 ， 它 管理 OpenStack 的 计算 资源 。Nova 起 源 于 NASA Ames 实 验 室 。Rackspace 公 司 和 NASA 共 同 推 
动 了 Nova 的 开源 。 

Nova 设 计 原则 : 

“ 基于 组 件 架 构 ， 可 以 快速 添加 新 的 特性 。 

“ 高 可 用 ， 可 以 在 高 工作 负载 情况 下 伸缩 、 扩 展 。 

“ 容错 ， 可 进行 组 件 隔离 ， 避 免 级 联 故 障 发 生 。 

:可 恢复 性 ， 很 容易 诊断 、 调 试 、 修 复 故障 。 

“ 开放 标准 ， 作 为 社区 驱动 API 的 参考 实现 。 

"API 兼容 性 ， 与 主流 云 计算 平台 兼容 ， 如 亚 马 进 公司 的 EC2。 


Nova 是 无 共享 、 基 于 消息 的 架构 ， 所 有 的 Nova 组 件 都 可 以 在 多 台 服 务 器 上 分 布 式 运行 ， 这 就 意味 着 大 多 数组 件 与 组 件 之 间 的 通信 都 需要 消息 队列 。 为 避免 等 待 时 的 阻塞 情况 ， 每 一 个 组 件 都 是 异步 响 
应 的 ， 只 有 收 到 消息 时 才 触 发 回调 。 在 Grizzly 版 本 之 前 ，Nova 所 有 组 件 都 会 与 数据 库 通 信 ， 这 样 的 集中 数据 库 访问 在 小 规模 环境 下 是 个 不 错 的 选择 ， 但 对 于 一 个 有 1000 个 以 上 节点 的 大 规模 部 署 环境 来 
说 ， 则 会 产生 安全 问题 。 每 个 节点 都 具有 数据 库 访问 权限 ， 这 是 非常 不 合理 的 。 一 旦 一 台 服 务 器 被 攻破 ， 那 么 整个 云 环境 将 完全 暴露 在 外 。 在 Grizzly 版 本 之 后 ，Nova 组 件 不 再 直接 与 数据 库 交 互 ， 而 是 通过 
nova-conductor 组 件 做 代理 ， 例 如 nova-compute 所 有 数据 操作 均 通过 消息 队列 交 由 nova-conductor 来 写 入 或 读 取 数据 库 。 这 样 就 避免 了 直接 访问 数据 库 ， 提 高 了 安全 性 ， 也 更 加 灵活 。 


基于 AMQP 消 息 的 交互 方式 如 图 7-1 所 示 。 


图 7-1 基于 AMQP 消 息 的 交互 方式 


“数据库: SQL 数据 库 ， 进 行 数据 存储 。 

* Web 界面 : 用 来 调用 API 的 外 部 组 件 ， 也 可 以 是 CLI。 

- API: 接收 HTTP 请 求 ， 转 换 成 内 部 命令 ， 并 将 结果 通过 AMQP 队 列 或 HTTP 应 答 返 回 。 

“ 授权 管理 : 负责 管理 用 户 / 项 目 / 角 色 ， 后 端 数据 源 可 以 是 数据 库 或 LDAP。 

“对象 存储 : 类 似 Amazon S3 的 API， 可 为 HTTP 服 务 器 提供 图 像 存储 和 检索 (S3 或 Swift) 。 
“ 调度 : 决定 由 哪个 主机 运行 各 个 VM (简单 调度 、 复 杂 调 度 、 自 定义 调度 等 ) 。 

: 网 络 : 管理 IP 转 发 、 网 桥 和 VLAN 等 模式 (nova-networkSXNeutron) 。 


' 计算 : 管理 与 虚拟 机 管理 程序 和 虚拟 机 的 通信 (nova-compute) 。 


7.2 虚拟 化 组 件 


要 理解 Nova 做 的 事情 ， 就 必须 先 了 解 虚拟 化 。 下 面 看 一 下 相关 网 站 对 虚拟 化 的 定义 一 一 虚拟 化 (Virtualization) 是 将 计算 机 物理 资源 如 服务 器 、 网 络 、 内 存 及 存储 等 予以 抽象 、 转 换 后 呈现 出 来 ， 使 
用 户 可 以 比 原本 的 组 态 更 好 的 方式 来 应 用 这 些 资源 。 这 些 资源 的 新 虚拟 部 分 是 不 受 现 有 资源 的 架设 方式 、 地 域 或 物理 组 态 所 限制 的 。 一 般 所 指 的 虚拟 化 资源 包括 计算 能 力 和 数据 存储 ，Nova 提 供 的 虚拟 化 指 
的 是 计算 能 力 的 虚拟 化 。 虚 拟 化 软件 中 比较 成 功 的 应 该 是 VMware。 


从 20 世 纪 90 年 代 中 期 至 今 ， 数 据 中 心 越 来 越 趋向 于 分 散 化 布局 ， 横 向 地 向 外 扩展 应 用 程序 和 基础 设施 。 这 种 趋势 一 般 称 为 Server Sprawl。 由 于 应 用 需求 越 来 越 大 ， 因 此 数据 中 心中 使 用 的 服务 器 数量 
以 指数 级 别 增长 。 单 台 集中 式 、 塔 式 服务 器 的 购买 和 维护 过 于 昂贵 ， 很 多 公司 很 难 自己 独立 建立 庞大 的 数据 中 心 、 计 算 平 台 。 虽 然 大 体积 、 大 机 架 的 服务 器 还 在 使 用 ， 但 如 今 入 门 级 、 中 等 的 服务 器 更 受 市 
场 欢迎 。 理 解 IT 组 织 为 什么 青睐 分 散 化 的 布局 ， 对 于 我 们 理解 虚拟 化 有 很 大 帮助 。 


虚拟 化 可 以 分 为 两 种 布局 方式 一 一 集中 式 和 分 散 式 。 集 中 式 就 是 用 多 台 物 理 设备 模拟 一 台 服 务 器 ， 分 散 式 是 将 一 台 服 务 器 拆 分 并 虚拟 成 多 台 虚 拟 服务 器 。 常 见 的 布局 是 分 散 式 布局 。 在 Openstack 中 的 
计算 虚拟 化 Nova 组 件 ， 管 理 的 就 是 这 种 分 散 式 布局 的 Hypervisor。 这 样 大 的 Hypervisor 又 有 两 种 类 型 ， 通 常 称 为 类 型 1 和 类 型 2。 类 型 1 为 裸 机 Hypervisor， 类 型 2 为 含 操作 系统 管理 的 Hypervisor。 现 在 经 
常 可 以 看 到 的 VMware 就 属于 类 型 2。Hypervisor 将 一 台 物 理 服 务 器 拆 分 成 多 台 虚 拟 服务 器 ， 各 个 虚拟 服务 器 都 含 各 自 独 立 的 运行 环境 ， 并 共享 底层 的 物理 硬件 设备 。 这 样 分 散 化 既 带 来 了 安全 性 、 稳 定性 、 
资源 隔离 ， 也 尽 可 能 利用 了 一 台 服 务 器 的 资源 ， 并 带 来 了 更 高 的 IT 投资 回报 。 


然而 ， 这 样 的 分 散布 局 庞大 之 后 就 会 变 得 很 难 管理 。 另 外 ， 廉 价 硬件 损坏 率 也 是 非常 高 的 ， 对 运 维 人 员 来 说 ， 是 个 很 大 的 挑战 。Nova 就 解决 了 这 一 问题 。 通 过 Nova 可 以 统一 管理 庞大 的 Hypervisor， 
并 且 可 以 轻松 地 管理 、 调 度 、 定 位 每 台 虚 拟 机 。 如 果 说 虚拟 化 主要 解决 数据 中 心 成 本 问题 ， 那 么 云 计算 就 是 解决 管理 、 规 模 问 题 ， 降 低 运 维 复杂 度 ， 提 高 运营 效率 。 


OpenstackNova 支 持 多 种 虚拟 化 Hypervisor， 具 体 用 哪 一 种 ， 很 难 直接 做 出 合适 的 选择 。 大 部 分 OpenStack 安 装 中 只 使 用 一 个 Hypervisor， 当 然 也 可 以 多 个 混合 使 用 ，Nova 为 这 种 模式 提供 了 一 种 调 
度 算 法 ， 这 个 调度 器 为 computeFilter， 它 用 来 过 滤 各 个 Hypervisor。 如 果 是 不 同 的 GuestOS，Openstack 也 提供 了 imagePropertiesFilter 来 过 滤 ， 这 样 就 可 以 搭建 一 个 混合 的 ， 不 同 Hypervisor 和 不 同 
GuestOS 的 环境 。 


接 下 来 介绍 Nova 目 前 支持 的 主流 的 Hypervisor 类 型 。 


. KVM Kernel-based Virtual Machine， 支 持 并 继承 了 QEMU 中 所 使 用 的 虚拟 磁盘 格式 qcow2。KVM 内 部 使 用 修改 过 的 QEMU 来 实现 ， 并 且 支 持 RAW、VMDK 等 通用 格式 。 在 OpenStack 中 ，KVM 是 大 多 


数 用 户 的 选择 ， 并 且 也 是 Nova 主 要 支持 的 一 种 Hypervisor， 社 区 中 将 KVM 分 组 为 Group A， 即 功能 保证 的 第 一 梯队 。 


* Xen 


由 剑桥 大 学 开发 ， 可 以 进行 半 虚 拟 化 和 全 虚拟 化 (硬件 辅助 虚拟 化 ) ， 与 KVM 相 比 ， 有 更 长 的 历史 。 


-LXC 


Linux Containers (这 里 的 LXC 是 通过 libvirt 来 管理 的 ，libvirt 为 统一 的 Hypervisor 管 理 接口 ) ， 用 来 运行 基于 Linux 的 虚拟 机 。 


- QEMU 一 一 Quick EMUlator， 通 常 仅 用 于 开发 目的 。 


- UML——User Mode Linux， 通 常 仅 用 于 开发 目的 。 


”VMware vSphere VMware 的 产品 ， 可 以 与 vCenterf 和 ESXI 一 起 使 用 。 


* XenServer 一 一 XenServer、XCP， 是 思 杰 公司 的 产品 ， 可 以 理解 为 Xen 的 高 级 版 。 


* PowerVM 一 IBM 公司 小 型 机 虚拟 化 ， 用 于 运行 AIX 等 IBM Powet 技 术 (已 确定 在 IceHouse 版 中 弃 用 ， 在 Havana 版 本 中 还 有 实现 ) o 


- Hyper-V- 微软 公司 的 Hyper-V 服 务 器 ， 运 行 微软 公司 的 Windows 服 务 器 时 ， 它 是 首选 。 当 然 ， 它 也 可 以 运行 在 Linux 和 FreeBSD 系 统 中 。 


* Bare Metal 


裸 机 ， 没 有 安装 Hypervisor、 操 作 系 统 的 传统 物理 服务 器 〈 其 实 也 可 以 是 一 个 虚拟 机 ) ， 使 用 PXE 方 式 部 署 、IPMI 管 理 。 
“ Docker 一 一 新 生 代 的 Linux 容 器 ， 用 来 快速 自动 部 署 应 用 程序 ， 可 以 高 度 移植 。 百 度 公 司 的 BAE 就 使 用 Docker。 


最 新 的 Hypervisor 支 持 信息 可 以 从 OpenStack 官 方 网 站 获取 : http://wiki.openstack.org/HypervisorSupportMatrix。 


73 配置 文件 及 参数 


nova.conf 常 用 配置 项 示例 及 说 明 见 表 7-1。 


表 7-1 novaconf 常 用 配置 项 示例 及 说 明 


配 置 项 说 BH 
bindir-/usr/local/bin 1H I8] Nova 安装 目录 
compute topic-compute compute 组 件 的 AMQP topic 标识 
console topic=console console 组 件 的 AMQP topic 标识 
consoleauth topic-consoleauth consoleauth 组 件 的 AMQP topic 标识 
disable process locking-False 进程 锁 
— AE 消息 队列 主机 名 后 级 ， 可 以 是 主机 名 、FQDN、 
IP 寺 
lock path=None 文件 锁 位 置 
memcached servers=None memcached 服务 
my_ip=192.168.122.99 本 机 的 IP 地址 
notification driver-[] 消息 通知 处 理 驱动 
notification topics=notifications AMQP 的 消息 通知 后 级 
notify api faults=False 如 果 设 置 ， 那 么 调用 API 失败 时 会 发 送 异 常 通知 
notify on state change-None 如 果 设 置 ， 那 么 虚拟 机 状态 发 生变 化 时 会 发 送 消息 通知 
pybasedir-/home/docwork/openstack-manuals-new/tools/| Nova Python 模块 的 安装 位 置 ， 可 能 与 Nova 安装 目录 
autogenerate-config-docs/nova ES! 
report interval-10 节点 向 数据 库 汇报 自己 的 状态 


root 运行 命令 封装 ， 类 似 于 sudo, 在 Python 层面 封装 
命令 行 ， 可 以 指定 县 1 体 的 命令 权限 这 里 主要 用 来 执行 
root 权限 的 命令 


判断 服务 停机 的 时 间 标 准 ， 为 最 后 一 次 检测 后 的 时 长 


rootwrap config-/etc/nova/rootwrap.conf 


service down time-60 


Sk 
BÉ E 项 说 明 
tempdir-None 临时 目录 ， 默 认 目 录 位 置 为 /tmp 
backend=sqlalchemy 后 端 使 用 ORM 模型 
connection trace=False Python 调试 信息 作为 SQL 注释 


connection-sglite:////home/docwork/openstack-manuals- 
new/tools/autogenerate-config-docs/nova/nova/openstack/| SQLAlchemy 使 用 的 数据 库 连 接 字 符 串 
common/db/Ssglite db 
SQL Debug 信息 ，0 ~ 100, 0 表示 不 打印 信息 ，100 


connection debug=0 X AME. 
一 表示 全 部 打印 


db backend-sglalchemy WIL Pi AZE backend 

db check interval-60 数据 库 中 刷新 cell 信息 时 间 间 陋 

db driver-nova.db Nova 访问 数据 库 驱 动 
idle_timeout=3600 数据 库 连 接 超 时 时 间 

max pool size=None 最 大 连接 池 大 小 

max overflow-None 与 SQLAlchemy 的 overflow 值 相同 
max retries-10 连接 超时 后 的 最 大 重 试 次 数 

min pool size-l 最 小 连接 池 大 小 

pool timeout=None 连接 池 超 时 时 间 与 SQLAlchemy 相同 
retry interval-10 重 试 连接 的 间 隅 时间 

slave connection- 从 数据 库 的 连接 字符 串 


sql connection-sglite:///5$state path/baremetal $sqlite_db UBL FERE TET OG 


sglite db-nova.sglite SQLite 的 文件 路 径 
sglite synchronous-True SQLite 的 同步 开关 
rabbit ha queues-False RabbitMQ 的 HA 队列 开关 
rabbit host-localhost RabbitMQ 定义 的 主机 名 
rabbit hosts-$rabbit host:$rabbit port RabbitMQ HA 时 用 的 连接 字符 串 
rabbit max retries-0 连接 最 大 重 试 次 数 
rabbit password-guest RabbitMQ 连接 密码 
rabbit port-5672 RabbitMQ 连接 端口 
rabbit_retry_backoff=2 RabbitMQ 更 试 后 延 
rabbit_retry_interval=1 RabbitMQ 重 试 间隔 
rabbit use ssl-False RabbitMQ 通过 SSL 连接 设置 
rabbit userid-guest RabbitMQ 用 户 名 
rabbit virtual host-/ RabbitMQ 虚拟 主机 

7.3.4. 数据 库 配 置 


数据 库 常用 配置 项 示例 及 说 明 见 表 7-2。 


表 7-2 数据库 常 用 配置 项 示例 及 说 明 


BÉ 置 项 

backend=sqlalchemy 

connection trace=False 

connection-sglite:////home/docwork/ 
openstack-manuals-new/tools/autogenerate- 
config-docs/nova/nova/openstack/common/ 
db/Ssglite db 

connection debug-0 

db backend-sqlalchemy 

db check interval-60 

db driver-nova.db 

idle timeout-3600 

max pool size=None 

max overflow-None 

max retries-10 

min pool size=1 

pool timeout-None 

retry interval-10 

slave connection- 


sql connection-sglite:///$state path/ 
baremetal Ssglite db 


sglite db-nova.sgqlite 


sglite synchronous-True 


7.3.2 Hypervisor 配 置 


这 里 的 大 部 分 配置 信息 都 是 针对 libvirt。libvirt 开 源 的 主要 目的 就 是 统一 各 类 Hypervisor 的 实现 接口 ， 


Xen、LXC 等 一 系列 的 Hypervisor。 


Hypervisor 常 用 配置 项 示例 及 说 明 见 表 7-3。 


配 置 项 


说 RH 
rim fli Hi ORM 模型 
Python 调试 信息 作为 SQL 注释 


SQLAlchemy 使 用 的 数据 库 连 接 字 符 串 


SQL Debug 信息 ，0 ~ 100, 0 表示 不 打印 信息 ，100 表示 全 部 打印 
裸 机 后 端 数据 类 似 backend 

数据 库 中 刷新 cell 信息 时 间 间 隔 
Nova 访问 数据 库 驱 动 
数据 库 连 接 超时 时 间 
最 大 连接 池 大 小 

与 SQLAlchemy 的 overflow 值 相同 
连接 超时 后 的 最 大 重 试 次 数 
最 小 连接 池 大 小 
连接 池 超 时 时 间 与 SQLAlchemy 相同 
重 试 连接 的 间隔 时 间 
从 数据 库 的 连接 字符 串 


裸 机 数据 库 的 连接 字符 串 


sqlite 的 文件 路 径 
sqlite 的 同步 开关 


此 ，Openstack Nova 常 用 的 Hypervisor 层 的 后 端 驱动 就 是 libvirt， 并 通过 libvirt 去 管理 KVM、 


表 7-3 Hypervisor 常 用 配置 项 示例 及 说 明 


说 明 


block migration flag- VIR MIGRATE UNDEFINE 


SOURCE, 
VIR. MIGRATE PEER2PEER, 
VIR. MIGRATE NON SHARED INC 
checksum base images-False 
default ephemeral format-None 


disk cachemodes- 


块 设备 迁移 标签 


镜像 完整 性 校 验 
临时 的 外 挂 存储 默认 格式 化 
磁盘 缓存 模式 ["file=directsync","block=none"] 


配 置 项 
force raw images-True 
inject password-True 
libvirt cpu mode-None 
libvirt disk prefix-None 


libvirt images rbd ceph conf- 


libvirt images type-default 


libvirt images rbd pool-rbd 
libvirt images volume group-None 
libvirt inject key-True 

libvirt inject partition-1 

libvirt inject password-False 
libvirt iscsi use multipath-False 
libvirt iser use multipath-False 
libvirt lvm snapshot size-1000 
libvirt nonblocking-True 
libvirt ovs bridge-br-int 


libvirt snapshot compression-False 


libvirt snapshots directory-$instances path/snapshots 


libvirt type-kvm 


libvirt uri- 


libvirt use virtio for bridges-True 


libvirt vif driver-nova.virt.libvirt.vif.LibvirtGeneric VIFDriver 


libvirt volume drivers-iscsi-nova.virt.libvirt. volume. 
LibvirtISCSIVolumeDriver, 


iser-nova.virt.libvirt.volume.LibvirtlISERVolumeDriver, 


local-nova.virt.libvirt.volume.LibvirtVolumeDriver, 


fake-nova.virt.libvirt.volume.LibvirtFakeVolumeDriver, 


rbd-nova.virt.libvirt.volume.LibvirtNetVolumeDriver, 


sheepdog-nova.virt.libvirt.volume.LibvirtNetVolumeDriver, 
nfs-nova.virt.libvirt.volume.LibvirtNFS VolumeDriver, 
aoe-nova.virt.libvirt.volume.LibvirtAOEVolumeDriver, 
glusterfs-nova.virt.libvirt. volume.LibvirtGlusterfs VolumeDriver, 


fibre channel- 


nova.virt.libvirt. volume.LibvirtFibreChannelVolumeDriver, 


scality-nova.virt.libvirt. volume.LibvirtScality VolumeDriver 


libvirt wait soft reboot seconds-120 


preallocate images-none 


remove unused base images-True 


说 明 

镜像 格式 强制 转换 成 RAW 格式 

密码 注入 

CPU 的 运行 模式 host-model, host-passthrough 等 

libvirt 的 磁盘 驱动 符号 ， 如 sd, xvd, uvd, vd 等 

Ceph 的 配置 文件 

libvirt 的 镜像 格式 ， 有 qcow2、LVM、RAW、 
RBD, VMDK 等 

RBD volume 使 用 的 pool 

镜像 使 用 volume group 的 设置 

镜像 的 公 钥 注入 

注入 分 区 位 置 ， 如 果 根 分 区 为 sdal ， 那 么 就 为 1 

镜像 密码 注入 

iSCSI 多 路 径 设 置 

iSER 多 路 径 设 置 

逻辑 卷 的 快照 大 小 设置 

libvirt 的 nonblocking 设置 

libvirt 的 OVS 网 桥 名 字 设 置 

快照 压缩 

快照 目录 


libvirt 管理 类 型 ， 如 : KVM, LXC, Xen, QEMU, 
UML 

libvirt 访问 URL， 取 决 于 libvirt 后 端 Hypervisor 
类 型 

VirtIO 驱动 使 用 的 网 桥 设 备 名 

VIF 管理 Nova 后 端 驱动 配置 


远程 volume 管理 Nova 后 端 驱 动 


软 重启 等 待 时 间 间 隔 ， 以 稍为 单位 
镜像 预 分 配 空间 模式 
删除 未 使 用 的 base 镜像 


BU 置 项 


remove unused kernels=False 


remove unused original minimum age seconds=86400 


remove unused resized minimum age seconds-3600 


rescue image id-None 

rescue kernel id-None 
rescue ramdisk id-None 
rescue timeout-0 
snapshot image format-None 
timeout nbd-10 


use cow images-True 
use usb tablet-True 


vcepu pin set-None 


virt mkfs-['default-mkfs.ext3-L9o(fs label)s-F 


9o(target)s'.'linux^mkfs.ext3-L9o(fs - 


label)s-F?^(target)s', 


"windows-mkfs.ntfs--force--fast--label?oe(fs label)s 


9o(target)s'] 


KVM 为 默认 的 Nova Hypervisor 后 端 连 接 。 如 果 显 式 声 明 使 


KVM， 那 么 在 nova.conf 中 做 如 下 设置 : 


XS 


yi ”有明 

删除 未 使 用 的 kernel 镜像 
删除 未 使 用 镜像 的 最 小 时 间 
删除 resize 镜像 的 最 小 时 间 ， 
rescue 镜像 ID 设置 ，AMI 
rescue kernel 镜像 ID 设置 ， 
rescue ARI 镜像 设置 

自动 救援 镜像 超时 时 间 

Jc HR Er o e IR 
NBD 设备 局 动 超时 时 间 

使 用 COW (copy-on-write) 镜像 
使 用 远程 虚拟 化 鼠标 时 ， 


以 秒 为 单位 
以 秒 为 单位 


AKI 


标 驱 动 


用 写字 板 代替 PS/2 B 


绑 定 vCPU 组 ， 这 里 涉及 物理 核 的 划分 与 调度 


格式 化 外 挂 存 储 


compute driver-libvirt.LibvirtDriver 
libvirt type-kvm 


KVM 支 持 RAW、qcow2、COW、VMDK 等 镜像 文件 格式 。KVM 需 要 硬件 辅助 虚拟 化 的 支持 ， 即 需要 CPU 硬件 支持 虚拟 化 ， 如 果 是 英特尔 公司 的 CPU， 就 需要 VMX 技 术 ; 如 果 是 AMD 公 司 的 CPU， 则 


需要 SVM 技术 。 使 用 如 下 命令 可 以 查看 CPU 硬件 是 否 支 持 虚 拟 化 。 


grep -E 'svm|vmx' /proc/cpuinfo 


值得 注意 的 是 ， 有 些 操作 系统 中 为 了 安全 ， 屏 项 了 VMX 和 SVM 信息 ， 这 源 于 2006: 


概念 来 自 于 电影 《黑客 帝国 》。 黑 客 可 以 获取 VMX 的 最 高 


7.3.3 ”RPC 配置 


RabbitMQ 为 目前 Openstack 主 流 的 RPC 通 信 中 间 件 ， 本 节 了 


RabbitMQ 常 用 配置 项 示例 及 说 明 见 表 7-4。 


BÉ 置 项 
rabbit ha queues-False 


rabbit host-localhost 


要 介绍 RabbitMQ。 


虚拟 化 引发 的 Rootkit 事 件 ， 当 时 VMX 和 SVM 导致 了 系统 被 入 侵 。 有 兴趣 的 读者 可 以 去 查看 “blue pill" , 
权限 来 控制 服务 器 的 一 切 行动 。 如 果 不 使 用 虚拟 化 ， 建 议 关 闭 BIOS 中 的 虚拟 化 技术 支持 选项 ， 这 样 可 以 多 一 道 安全 保障 。 


表 7-4 RabbitMQ 常 用 配置 项 示例 及 说 明 


rabbit hosts-$rabbit host:$rabbit port 


rabbit max retries-0 
rabbit password-guest 
rabbit port-5672 
rabbit retry backoff-2 
rabbit retry interval-1 
rabbit use ssl-False 
rabbit userid-guest 


rabbit virtual host-/ 


在 nova.conf 中 配置 如 下 驱动 : 


说 。 明 
RabbitMQ 的 HA 队列 开关 
RabbitMQ 定义 的 主机 名 
RabbitMQ HA 时 用 的 连接 字符 串 
连接 最 大 重 试 次 数 
RabbitMQ 连接 密码 
RabbitMQ 连接 端口 
RabbitMQ 重 试 后 延 
RabbitMQ 重 试 间隔 
RabbitMQ 通过 SSL 连接 设置 
RabbitMQ 用 户 名 
RabbitMQ 虚拟 主机 


该 名 字 的 


rpc backend-nova.openstack.common.rpc.impl kombu 


Qpid 和 ZeroMQ 与 RabbitMQ 类 似 ， 由 了 
统一 的 东西 。 


734 配额 设置 


止 Openstack 系 统 在 毫 不 知情 的 情况 下 被 过 


篇 幅 所 限 ， 这 里 不 多 做 介绍 ， 官 方 推荐 使 


RabbitMQ。 也 有 很 多 人 使 用 Qpid 和 ZeroMQ。Openstack 提 供 的 大 多 是 规范 、 标 准 、 框 架 ， 而 不 是 要 求 用 户 使 


度 使 用 ， 


可 以 设置 配额 ， 以 限制 


配置 项 示例 及 说 明 见 表 7-5。 


cores 


fixed-ips 


floating-ips 


可 以 被 合理 控制 ， 并 且 云 的 资源 使 用 情况 也 可 被 优化 ， 不 会 发 生 恶意 占用 、 使 


户 使 用 资源 的 范围 。 例 如 ， 租 户 只 能 使 用 TB 级 别 的 数据 量 ， 如 果 超过 ， 则 限制 其 创建 新 的 资源 。 这 样 每 个 租户 的 资 


资源 的 情况 。 配 额 是 在 租户 级 别 的 ， 不 是 用 户 级 别 。 


表 7-5 配额 常用 配置 项 示例 及 说 明 


injected-file-content-bytes 


injected-file-path-bytes 


injected-files 


instances 


Rc 
key-pairs 


项 


metadata-items 


ram 


security-groups 


security-group-rules 


如 果 使 


nova-client 来 操作 ， 那 么 可 以 使 用 “nova quota-*” 命 令 进行 


7.3.5 “日 志 配 置 


Hs 


日 志 常 


配置 项 示例 及 说 明 见 表 7-6。 


说 RR 
允许 租户 最 大 使 用 的 vCPU 数量 
允许 租户 使 用 的 固定 IP 地 址 
允许 租户 使 用 的 浮动 IP 地址 
允许 注入 文件 内 容 大 小 
允许 注入 路 径 大 小 
允许 注入 文件 
允许 每 个 租户 创建 的 实例 数量 


说 明 
人 允许 每 个 用 户 使 用 的 密 钥 对 
允许 每 个 用 户 使 用 的 元 数据 项 
允许 租户 使 用 实例 的 内 存 大 小 
允许 租户 使 用 的 安全 组 数量 
允许 租户 使 用 的 安全 组 规则 数量 


人体 的 配额 设置 ， 这 些 信息 会 存放 在 数据 库 中 。 


表 7-6 日 志 常用 配置 项 示例 及 说 明 


debug-False 


default log levelscamqplib-WARN,sgqlalchemy- WARN,boto 
(2LWistAORpNt).s luisdt so=fI NloFgOg.ekre-yLsEtoVnEeL- 
pINaiFrOs ,eventlet.wsgi.server- WARN 


fatal deprecations-False 

fatal exception format errors-False 
instance format-[instance: ?o(uuid)s] 
instance uuid format-[instance: ?o(uuid)s] 
log config-None 

log date format=%Y-%m-%d %H:%M:%S 
log dir-None 

log file-None 

log format-None 


logging context format string-9o(asctime)s.?o(msecs)03d 


9o(process)d 9o(levelname)s ?o(name)s [9o(request id)s 
9o(user)s 9o(tenant)s] ?o(instance)s?o(message)s 
logging debug format suffix-9?o(funcName)s 
9o(pathname)s:9oe(lineno)d 


logging default format string= 


9o(asctime)s.9o(msecs)03d 

9o(process)d ?o(levelname)s ?o(name)s [-] Vo(instance)s 
9o(message)s 

logging exception prefix- 

9o(asctime)s.9o(msecs)03d 

9o(process)d TRACE ?o(name)s 9?o(instance)s 


配 置 项 
publish errors-False 
syslog log facility-zLOG USER 
use stderr-True 
use syslog-False 


verbose-False 


7.3.6 ”调度 配置 


nova-schedule 


哪个 hova-compute 上 创建 后 ， 通 过 RPC 消 息 队 列 ， 让 nova-compute 处 理 创建 虚拟 机 请 求 。 


nova.conf 配 置信 息 如 下 : 


[管理 虚拟 机 的 调度 ， 确 定 在 哪 一 台 物 理 机 上 创建 虚拟 机 。 例 如 ， 从 nova-api 发 起 创建 虚拟 机 指令 


是 否 开 启 Debug 


默认 日 志 级 别 ， 有 多 个 配置 项 ， 
di 


行 详细 配置 ， 也 可 以 使 用 默认 配置 


致命 故障 信息 描述 
致命 异常 格式 
实例 描述 格式 
实例 UUID 格式 
日 志 特 殊 配 置 项 
日 志 中 的 日 期 格式 
存放 日 志 目 录 
存放 日 志 位 置 
| 志 格 式 化 


默认 为 标准 输出 


上 下 文 格式 化 字符 串 样式 


Debug 日 志 后 级 


日 志 默 认 人 字符 串 格式 化 


异常 信息 格式 化 


ms 
Nu 


Vi 明 
和 否 显示 error 事件 
syslog 中 信息 设置 
是 否 使 用 标准 错误 输出 
是 否 使 用 syslog 
是 否 使 用 详细 输出 


，nova-scheduler 会 寻找 适合 创建 这 人 台 虚 拟 机 的 nova-compute 组 件 的 位 置 ， 确 定 在 


scheduler driver-nova.scheduler.multi.MultiScheduler 

compute scheduler driver-nova.scheduler.filter scheduler.FilterScheduler 
scheduler available filters-nova.scheduler.filters.all filters 
Scheduler default filters-AvailabilityZoneFilter,RamFilter, ComputeFilter 
least cost functions-nova.scheduler.least cost.compute fill first cost fn 
compute ; fill: first cost fn weight--1.0 


有 各 种 各 样 的 调度 器 可 供 选 择 ， 下 文 会 详细 介绍 OpenStack 调 度 。 


7.3.7 VNC 配 置 


可 以 对 每 项 进 


VNC (Virtual Network Computer) 常用 配置 项 示例 及 说 明 见 表 7-7。 
表 7-7 VNC 常 用 配置 项 示例 及 说 明 
BO E 项 说 明 


novncproxy base URL-http://127.0.0.1:6080/ 
vnc auto.html 


本 地 VNC 代理 位 置 


vnc enabled-True 是 否 开 启 VNC 

vnc keymap=en-us VNC 时 的 键盘 映射 

vnc password-None VNC 密码 设置 

vnc port-5900 VNC 端口 设置 

vnc port total=10000 VNC 端口 使 用 最 大 设置 
vncserver listen-127.0.0.1 VNC 服务 需 监 听 设 置 
vncserver proxyclient address-127.0.0.1 VNC 代理 客户 端 设置 


74 ”关键 源 代码 阅读 


7.4.4. Nova 服 务 启动 


下 面 看 一 下 Nova 的 服务 启动 过 程 ， 从 中 分 析 Nova 代 码 。 这 些 Nova 启 动 脚本 均 放 在 nova/bin 目 录 下 ， 见 表 7-8。 


表 7-8 ” Nova 启动 脚本 


nova-all nova-cert nova-network 


nova-api nova-clear-rabbit-queues nova-novncproxy 


nova-api-ec2 nova-compute nova-objectstore 


nova-api-metadata nova-conductor nova-rootwrap 


nova-api-os-compute nova-console nova-rpc-zmq-receiver 


nova-baremetal-deploy-helper nova-consoleauth nova-scheduler 


nova-baremetal-manage nova-dhepbridge nova-spicehtml5proxy 


nova-cells nova-manage nova-xvpvncproxy 


可 以 看 到 ，Nova 有 很 多 可 执行 文件 ， 它 们 大 部 分 都 是 可 以 分 布 式 部 署 的 组 件 ， 常 用 的 有 nova-api、nova-compute、nova-scheduler、nova-console、nova-conductor、nova-network 等 。 


先 来 看 看 nova-all 做 了 什么 。 


nova-all 是 启动 所 有 Nova 服 务 的 脚本 ， 将 这 些 启动 脚本 全 部 打包 运行 ， 如 果 这 些 脚本 出 现 异常 或 者 调用 sys.exit0， 那 么 出 错 信息 会 被 记录 到 日 志 中 ， 然 后 nova-all 继 续 尝试 启动 剩余 的 服务 。 其 代码 如 


import eventlet 

eventlet.monkey patch (os-False) 

import os 

import sys 

from oslo.config import cfg 

possible topdir = os.path.normpath (os.path.join(os.path.abspath( 

sys.argv[0]), os.pardir, os.pardir)) 

if os.path.exists(os.path.join(possible topdir, "nova", " init .py")): 
sys.path.insert(0, possible topdir) Uv m 

from nova import config 

from nova.objectstore import s3server 

from nova.openstack.common import log as logging 

from nova import service 

from nova import utils 

from nova.vnc import xvp proxy 

CONF = cfg.CONF 

CONF.import opt('manager', 'nova.conductor.api', group-'conductor') 

CONF.import opt('topic', 'nova.conductor.api', group-'conductor') 

CONF.import opt('enabled apis', 'nova.service') 

LOG = logging.getLogger ('nova.all') 


上 述 代码 段 中 ， 最 开始 是 导入 eventlet 等 一 系列 系统 库 ， 指 定 了 系统 库 和 Nova 库 后 ， 导 入 配置 文件 ， 获 取 日 志 记录 器 ， 接 下 来 就 是 主 函 数 。 打 上 monkeypatch， 然 后 
和 Keystone 及 其 他 OpenStack 项 目 都 是 类 似 的 。 


将 封装 的 WSGI server 进 行 迭代 处 理 ， 然 后 放 入 greenthread 协 程 池 中 。 这 样 OpenStack 服 务 就 启动 了 。 其 代码 如 下 : 


if name _ == ' main ': 


"config.parse args (Sys.argv) 


launcher 


启动 进程 ， 这 个 流程 


logging.setup "nova" 


utils.monkey patch( 


) 
) 


launcher = service.ProcessLauncher() 


# nova-api 


for api in CONF.enabled apis: 


try: 


server = service.WSGIService (api) 
launcher.launch server(server, workers-server.workers or 1) 
except (Exception, SystemExit): 


LOG.excepti 
for mod in [s3serve. 
try: 


on(_ 
r, Xvp proxy]: 


('Failed to load $s') $ '$s-api"' 


launcher.launch server (mod.get wsgi server()) 
except (Exception, SystemExit): 


LOG.excepti 
for binary in ['novi 
'novi 


on( 
a-compute', 
a-cert', 


4 FIXME (sirp): Most service configs are defined in 


# nova/service.py, 


$ api) 


('Failed to load $s') $ mod. name ) 
'nova-network', 
'nova-conductor']: 


'nova-scheduler', 


# but conductor has set a new precedent of storing these configs 


# nova/«service: 


# 


»/api.py. 


# We should update the existing services to use this new approach 
# so we don't have to treat conductor differently here. 
ova-conductor' : 

topic = CONF.conductor.topic 
manager = CONF.conductor.manager 


RE 


if binary = 'n 


else: 
topic = Non 
manager = Ni 
try: 


e 
one 


launcher.launch server (service.Service.create (binary-binary, 
topic-topic, 
manager-manager)) 


except (Exception, SystemExit): 
on( ('Failed to load $s'), binary) 


LOG.excepti 
launcher.wait() 


需要 注意 的 是 服务 的 创建 。 服 务 创建 时 指定 了 使 
行 通 信 ， 所 以 需要 各 自 的 topic。nova-all 中 打包 了 所 有 的 服务 启动 ， 


度 方式 。 因 为 各 个 启动 的 进程 i 


司 通过 AMQP 进 : 


每 个 服务 都 有 4 个 时 间 参 数 可 以 设置 。 


“ report. interval: 汇报 状态 时 间 间 隔 。 


“ periodic enable: 周期 性 任务 开关 。 


* periodic, fuzzy delay: 周 


期 性 任务 暂停 延迟 。 


“ periodic interval max: 周期 性 任务 最 大 间隔 时 间 。 


nova/nova/service.py 中 定义 了 service 类 。 下 面 看 一 下 service.create()， 其 代码 如 下 : 


哪个 进程 标识 binary， 哪 个 AMQP 消 息 topic， 哪 个 manager 模 块 处 理 逻 辑 。Nova 框 架 非 常 直观 ， 大 多 使 用 api->manager-> driver 这 类 模块 调 
当然 也 可 以 自己 写 一 个 


定制 化 的 启动 脚本 。 


Gclassmethod 


def create(cls, host-None, binary-None, topic-None, manager-None, 
report interval-None, periodic enable-None, 
periodic fuzzy delay-None, periodic interval max-None, 


db allowed-T 


rue): 


"""Instantiates class and passes back application object. 
:param host: defaults to CONF.host 
:param binary: defaults to basename of executable 


:param topic: defaults to bin name - 


'nova-' part 


:param manager: defaults to CONF.«topic» manager 
:param report interval: defaults to CONF.report interval 


:param periodic enable: 


defaults to CONF.periodic enable 


:param periodic fuzzy delay: defaults to CONF.periodic fuzzy delay 
:param periodic interval max: if set, the max time to wait between runs 


if not host: 


host = CONF.hos 
if not binary: 


t 


binary = os.path.basename (inspect.stack() [-1] [1]) 


if not topic: 


topic = binary.rpartition('nova-') [2] 


if not manager: 


manager cls = (' 


if report interval 
report interval = 
if periodic enable 


periodic enable = CONF.periodic enable 


$s manager' $ 


binary.rpartition('nova-')[2]) 
manager = CONF.get (manager cls, None) 


is None: 


CONF.report interval 


is None: 


if periodic fuzzy delay is None: 

delay = CONF.periodic fuzzy delay 

service obj - cls (host, binary, topic, manager, 
report interval-report interval, 
periodic enable-periodic enable, 
periodic fuzzy delay-periodic fuzzy delay, 
periodic interval max-periodic interval max, 
db allowed- db allowed) 


periodic fuzzy « 


return service obj 


@classmethod 表 示 将 类 的 实例 作为 第 一 参数 传递 ， 是 运行 期 的 方法 ， 与 staticmethod 有 所 区 别 ，staticmethod 可 以 没 


7.4.2 ”虚拟 机 状态 转换 


Nova 会 对 虚拟 机 的 整个 生命 周期 进行 管理 ， 所 以 理 


办 虚拟 机 的 状态 流转 尤为 


vm state: 反映 的 是 基于 


nova-api 调 


,为 了 匹配 


户 操作 期 望 而 


task state: 反映 了 API 调 用 到 最 终 实现 的 过 ; 


TES. 


展现 的 稳定 状态 ， 它 


power state: Hypervisor 中 虚拟 机 状态 ， 是 自 下 而 上 地 加 载 到 OpenStack 中 的 。 


虚拟 机 各 种 状态 之 前 的 转换 关系 见 表 7-9。 


表 7-9 虚拟 机 各 种 状态 之 前 的 转换 关系 


是 一 种 


。 Nova 中 虚拟 机 称 为 实例 (Instance) , 


上 而 下 的 实现 。 


运行 实例 而 被 直接 调 


每 个 实例 有 三 种 状态 ， 


。 可 以 看 到 cls 直 接 调用 了 初始 化 方法 。 


它们 分 别 是 : vm state, task state, power state, 


活动 中 暂停 挂 起 停止 大 小 已 更 改 出 错 
adio (ACTIVE) (PAUSED) |(SUSPENDED)| (STOPPED) (RESIZED) | (ERROR) 
create ACTIVE |x x x 
soft delete x SOFT DELETED | SOFT DELEIED | SOFT DELEIED | SOFT DELETED SOFT DELETED  |SOFT DELETED | x SOFT DELETED | SOFT DELETED 
ee aoar ensem 
stop |x [semp | — | — |  — 9 Jsoermb | — | — | — | 
E e mk |] o o a O l e 
backup x ACTIVE 
reboot I* aowe | | [| ||| 
rebuild x ACTIVE 
confirm resize x ACTIVE 
n i eum 一 一 -一 一 一 一 一 
puc p [mum | — | | | | rm rr 
unpause x ACTIVE 
EE D — [sss pue d 
resume x 0] PL. |] [ame | | —— S — v»; bj ë OE 
rescue x RESCUED 
unrescue x ACTIVE = a a S 
set_admin password x ACTIVE 
stweag |x Im | | | | | | | | 
get console output x ACTIVE 
detach volume |x aowe | | j|. p. vy 0»; pj | 
associate floating ip x ACTIVE 
delete instance metadata 
7 
get instance faults |x | | | | | LERROR 


注 : XX 表示 虚拟 机 处 于 此 状态 时 无 法 执行 该 操作 ; 空白 代表 该 操作 不 会 引起 状态 切换 。 


虚拟 机 状态 转换 如 图 7-2 所 示 。 


create 


l 


rg iain 


zy 
JEN 
EET TEIN 


LA L^ 
GRE 


reboot confirm resize 


revert resize 


图 7-2 虚拟 机 状态 转换 


下 面具 体 看 一 下 Nova 代 码 中 的 实现 。 首 先 来 看 nova/nova/compute/vm_states.py， 其 代码 如 下 : 


ACTIVE = 'active' # VM is running. 

虚拟 机 运行 期 状态 

BUILDING = 'building' # WM only exists in DB. 
虚拟 机 创建 时 状态 


PAUSED = 'paused' 
虚拟 机 和 暂停 在 内 存 中 的 状态 
SUSPENDED = 'suspended' # VM is suspended to disk. 
虚拟 机 暂停 ， 所 有 虚拟 机 数据 写 入 持 
+ 


久 化 存储 ， 便 于 随时 恢复 状态 

STOPPED = 'stopped' # VM is powered off, the disk image is still 
# there. 

虚拟 机 停止 状态 

RESCUED = 'rescued' # A rescue image is running with the original VM image 
# attached. 

虚拟 机 救援 状态 ， 适 用 于 经 常 需要 初始 化 的 虚拟 机 

RESIZED = 'resized' # a VM with the new size is active. The user is 
# expected to manually confirm or revert. 

虚拟 机 配置 变更 状态 

SOFT DELETED = 'soft-delete' # VM is marked as deleted but the disk images are 


# still available to Restore. 


虚拟 机 软 删 除 ， 保 留 镜像 文件 

DELETED = 'deleted' 4 VM is permanently deleted. 
虚拟 机 已 删除 状态 

ERROR = 'error' LÀ 

异常 状态 


之 后 在 nova/nova/api/openstack/common.py 中 做 了 显 式 的 状态 转换 ， 其 代码 如 下 : 


_STATE MAP = ( 
vm states.ACTIVE: ( 
'default': 'ACTIVE', 
task states.REBOOTING: 'REBOOT', 
task states.REBOOTING HARD: 'HARD REBOOT', 
task states.UPDATING PASSWORD: 'PASSWORD', 
task states.REBUILDING: 'REBUILD', 
task states.REBUILD BLOCK DEVICE MAPPING: 'REBUILD', 
task states.REBUILD SPAWNING: 'REBUILD', 
task states.MIGRATING: 'MIGRATING', 
task states.RESIZE PREP: 'RESIZE', 
task states.RESIZE MIGRATING: 'RESIZE', 
task states.RESIZE MIGRATED: 'RESIZE', 
task states.RESIZE FINISH: 'RESIZE', 
Hh 
vm states.BUILDING: { 
'default': 'BUIID', 
h 
vm states.STOPPED: ( 
'default': 'SHUTOFF', 
h 
vm states.RESIZED: ( 
'default': 'VERIFY RESIZE', 
# Note (maoy): the OS API spec 1.1 doesn't have CONFIRMING RESIZE 
# state so we comment that out for future reference only. 
# task states.RESIZE CONFIRMING: 'CONFIRMING RESIZE', 
task states.RESIZE REVERTING: 'REVERT RESIZE', 
h 
vm states.PAUSED: ( 
'default': 'PAUSED', 
h 
vm states.SUSPENDED: ( 
'default': 'SUSPENDED', 
h 
vm states.RESCUED: ( 
'default': 'RESCUE', 
h 
vm states.ERROR: { 
'default': 'ERROR', 
h 
vm states.DELETED: ( 
'default': 'DELETED', 
h 
vm states.SOFT DELETED: { 
'default': 'DELETED', 
h 


def status from state(vm state, task state-'default!): 
"""Given vm state and task state, return a status string. 
task map = STATE MAP.get (vm state, dict (default-'UNKNOWN!')) 
status = task map.get(task state, task map['default']) 
if status == "UNKNOWN": 
LOG.error( ("status is UNKNOWN from vm state-$ (vm state)s 
"task state-$(task state)s. Bad upgrade or db " 
"corrupted?") $ locals()) 


return status 
def vm state from status (status): 
"""Map the server status string to a vm state. 
for state, task map in STATE MAP.iteritems(): 
status string = task map.get ("default") 
if status.lower() — status string.lower(): 
return state 


接着 是 nova/nova/compute/task_states.py， 其 代码 如 下 : 


# possible task states during create () 
SCHEDULING - 'scheduling' + 
通过 scheduler 

调度 

BLOCK DEVICE MAPPING = 'block device mapping' + 
Weit te Du. 

NETWORKING = 'networking' + 
分 配 网 络 

SPAWNING = 'spawning' + 
QUEE. HE 

# possible task states during snapshot () 

IMAGE SNAPSHOT = 'image snapshot' 


镜像 快照 

IMAGE PENDING UPLOAD = 'image pending upload' # 
镜像 上 传 暂停 

IMAGE UPLOADING = 'image uploading' + 
镜像 上 传 

# possible task states during backup() 

IMAGE BACKUP = 'image backup' # 

镜像 备份 

# possible task states during set admin password() 
UPDATING PASSWORD = 'updating password" + 
更 新 密码 

# possible task states during resize() 

RESIZE PREP - 'resize prep' # 

预 配置 变更 

RESIZE MIGRATING = 'resize migrating' + 
配置 变更 迁移 

RESIZE MIGRATED = 'resize migrated' + 
配置 变更 已 迁移 


RESIZE FINISH = 'resize finish' # 


配置 变更 完成 

# possible task states during revert resize() 
RESIZE REVERTING = 'resize reverting" Li 
配置 变更 还 原 

# possible task states during confirm resize() 
RESIZE CONFIRMING - 'resize confirming' + 
配置 变更 确认 

# possible task states during reboot () 

REBOOTING = 'rebooting' LÀ 

软 重启 

REBOOTING HARD = 'rebooting hard' LÀ 

硬 重启 = 

# possible task states during pause () 

PAUSING = 'pausing' + 

内 存 暂 停 中 

# possible task states during unpause () 
UNPAUSING = 'unpausing' + 

从 内 存 暂 停 恢复 运行 

# possible task states during suspend() 
SUSPENDING = 'suspending' + 
虚拟 机 挂 载 ( 落 盘 ) 

# possible task states during resume () 

RESUMING = 'resuming' + 
挂 载 恢复 

# NOTE (johannes): STOPPING and STARTING need to stick around for 
# the grizzly release for compatibility, but can be removed afterwards. 
# possible task states during stop() 

STOPPING - 'stopping' 

停止 中 

# possible task states during start() 

STARTING = 'starting' + 
启动 中 

# possible task states during power off() 
POWERING OFF = 'powering-off' 5 # 
关闭 电源 

# possible task states during power on() 
POWERING ON = 'powering-on' B # 

启动 电源 

# possible task states during rescue() 

RESCUING = 'rescuing' # 
救援 中 

# possible task states during unrescue () 
UNRESCUING - 'unrescuing' # 
取消 救援 

# possible task states during rebuild() 
REBUILDING - 'rebuilding' + 
下 新 创建 

REBUILD BLOCK DEVICE MAPPING = "rebuild block device mapping" 
+ 


= 'rebuild spawning' + 


# possible task states during live_migrate () 
MIGRATING = "migrating" 
迁移 


# possible task states during delete() 

DELETING = 'deleting' * 

删除 

# possible task states during soft delete() 
SOFT DELETING = 'soft-deleting' ` # 
软 删 队 、 保 存 镜像 文件 

# possible task states during Restore() 
RESTORING = 'Restoring' 

恢复 虚拟 机 ， 一 般 是 从 快照 或 备份 文件 恢复 


代码 如 下 : 


介绍 完了 Nova 中 的 vm_states 和 task_states， 接 下 来 介绍 power_states。 下 面 看 一 下 nova/nova/compute/power state.py, 


t 
这 里 的 十 六 进 制 是 为 了 向 后 兼容 1ibvirt 
版 本 


NOSTATE 
RUNNING 
PAUSED = 0x03 

SHUTDOWN = 0x04 # the VM is powered off 
CRASHED = 0x06 
SUSPENDED = 0x07 


# 

创建 中 状态 ， 对 于 power_state, 
只 适用 于 裸 机 ， 这 个 状态 有 待 商 检 
BUILDING = 0x09 


+ 

不 能 被 libvirt 

的 状态 码 绑 定 ， 为 了 解 得 ， 需 要 做 个 映射 关系 

STATE MAP = { 

^ NOSTATE: 'pending', 
RUNNING: 'running', 
PAUSED: 'paused', 
SHUTDOWN: 'shutdown', 
CRASHED: 'crashed', 
SUSPENDED: 'suspended', 
BUILDING: 'building', 


看 完了 这 些 状 态 ， 再 看 看 libvirt 对 于 虚拟 机 的 定义 。 在 libvirt 中 ， 虚 拟 机 被 定义 为 Domain ， 或 者 简称 为 Dom。 虚 拟 机 有 以 下 几 种 状态 。 


: Undefined: 未 定义 ， 表 示 这 个 Domain 未 被 libvirt 识 别 、 管 理 。 
: Defined&Stopped: 已 在 libvit 中 定义 、 注 册 ， 但 没有 启动 ， 不 在 运行 期 的 Domain， 就 处 于 这 两 种 状态 。 
- Running: 运行 期 状态 ， 正 常情 况 下 ，Domain 启 动 后 就 是 Runnig 状 态 。 


Paused: 暂停 状态 ， 临 时 存在 于 内 存 或 寄存 器 中 ， 直 至 被 恢复 。 熟 悉 虚 拟 化 的 读者 应 该 知道 ， 虚 拟 机 在 初次 启动 第 一 颗 vCPU 上 电 后 ，Domain 会 先 处 于 Paused 状 态 ， 然 后 才 进 入 Running， 因 为 在 执行 
VMXON 的 过 程 中 需要 做 状态 切换 。 


- Saved: 类 似 于 Paused 状 态 ,但 是 这 种 状态 的 Domain 是 存放 在 持久 化 存储 中 的 。 这 个 状态 中 的 Domain 可 以 稳定 恢复 ， 并 不 像 Paused 那 样 存放 在 内 存 中 ， 断 电 后 数据 就 会 丢失 。 


7-3 很 好 地 解释 了 这 一 系列 状态 是 如 何 流转 的 。 


[ 


Undefined 


创建 实例 时 Nova 中 的 状态 转换 见 表 7-10。 


5 dk 


compute.manager. allocate network 


compute.manager. prep block device 


compute.manager. spawn 


Hypervisor 创建 操作 


Nova 中 的 状态 可 能 会 出 现 不 一 致 的 情况 ， 如 果 想 强制 重 置 状 态 ， 则 可 以 使 有 


下 面 来 具体 看 看 在 代码 中 的 实现 。 


7.4.3 Nova Context 


Nova Context 为 处 理 Nova 请 求 的 上 下 文 ， 这 是 持久 化 的 信息 ， 


可 以 清晰 地 看 到 Nova Context 的 结构 ， 


def to dict (self): 


A740 创建 实例 时 Nova 中 的 状态 转换 


task states power states 
compute.api.create db entry for new instance 


compute.manager. start building 


Nova 相 关 命 令 。 


其 代码 如 下 : 


return ('user id': self.user id, 
'project id': self.project id, 
'is admin': self.is admin, 


'read deleted': 


self.read deleted, 


'roles': self.roles, 

'remote address': self.remote address, 
'timestamp': timeutils.strtime (self.timestamp), 
'request id': self.request id, 

'auth token': self.auth token, 


'quota class': 


Self.quota class, 


'user name': self.user name, 
'service catalog': self.service catalog, 


'project name': 


'instance lock checked' : self. instance lock checked, 


'tenant': self. 


self.project name, 


tenant, 


'user': self.user] 


可 以 看 到 Nova Context 中 保存 了 很 多 信息 ， 这 些 信息 一 般 不 (或 很 少 ) 随 着 单个 请 求 的 变化 而 变化 。 


744 ”Keystone 认 证 处 理 


如 果 Nova 需 


Val 


middleware 看 到 ， 也 可 以 使 用 亚马逊 的 EC2 APl。 在 Nova 中 处 理 这 个 token 的 就 是 nova/nova/api/auth.py 中 的 NovaKeystoneContext 类 。 


从 Keystone 获 取 auth_token， 并 重新 创建 请 求 头 ， 其 代码 如 下 : 


# Get the auth token 


无 状态 
无 状态 
无 状态 
无 状态 
无 状态 


running 


会 随 着 请 求 的 终止 而 消失 。 这 样 的 好 处 是 不 必 每 次 都 调用 或 创建 一 些 相同 的 数据 对 象 。 从 nova/novay/context.py 中 的 to_dict() 方 法 中 


Keystone 认 证 ， 就 需要 对 认证 header 进 行 处 理 和 判断 ， 与 Keystone 进 行 交 互 。 下 面 来 看 看 Nova 是 如 何 与 Keystone 交 互 的 。 一 般 一 个 请 求 过 程 是 这 样 的 : API 请 求 
*auth token 一 nova_auth 一 handler_request。 认 证 模块 相关 代码 位 于 keystone/middleware/ 目 录 下 。auth_token 作 为 通用 的 模块 ， 为 Nova、Glance、Swift 等 组 件 提供 服 务 。 从 目录 中 提供 的 其 他 


auth token - req.headers.get('X AUTH TOKEN', 


req.headers.get('X STORAGE TOKEN')) 


# Build a context, including the auth tokenhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 


remote address = req.remote addr 
if CONF.use forwarded for: ~ 
remote address = 
service catalog = None 
if req.headers.get('X SERVICE CATALOG') is not None: 
try: 
catalog header = req.headers.get('X SERVICE CATALOG!) 
service catalog - jsonutils.loads (catalog header) 
except ValueError: B 
raise webob.exc.HTTPInternalServerError ( 
. ("Invalid service catalog json.')) 
context.RequestContext (user id, 
project id, 
user name-user name, 
project name-project name, 
roles-roles, 7 
auth_token=auth_token, 
remote address-remote address, 
service catalog-service catalog) 
etx. ~ T 


ctx = 


req.environ['nova.context'] = 
return self.application 


req.headers.get('X-Forwarded-For', remote address) 


这 样 ，Context 中 的 信息 就 已 保存 了 认证 信息 ， 可 以 被 Nova 中 的 模块 共同 使 


7.4.5 REST API 调 用 


首先 创建 WSGI 服 务 并 放 入 greenthread 中 ， 其 代码 如 下 : 


以 进行 安全 验证 了 。 


nova/nova/bin/nova-api 
launcher = service.ProcessLauncher () 
for api in CONF.enabled apis: 
should use ssl = api in CONF.enabled ssl apis 
if api — "ec2': iiis 
server = service.WSGIService(api, use ssl-should use ssl, 
max URL len-16384) ^ ` 
else: 
server = service.WSGIService(api, use ssl-should use ssl) 
launcher.launch server (server, workers-server.workers or 1) 
launcher.wait () 


WSGlService 读 取 paste.ini 配 置 文件 ， 通 过 paste.deploy 加 载 hova.conf 中 的 enabled_apis 所 定义 的 APl， 例 如 : 


# enabled apis-"ec2,0sapi compute,osapi volume,metadata" 


api-paste.ini 文 件 中 还 指定 了 由 APIRouter 来 处 理 RESTful URL 的 路 由 : 


[composite:osapi compute] 
/N2: openstack compute api v2 
[composite:openstack compute api v2] 


http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 


[app:osapi compute app v2] 
paste.app factory = nova.api.openstack.compute:APIRouter.factory 


nova/nova/api/openstack/_init_.py 中 定义 了 APIRouter 类 。Router 是 用 来 创建 各 类 RESTfu| 方 法 的 框架 ， 这 个 Python 开源 项 


是 从 Ruby On Rail 衍 生出 来 的 Python 实现 。Router 顾 名 思 义 就 是 


URL 的 请 求 路 由 。 它 创建 出 一 系列 的 URL， 通 过 WSGI 暴 露 对 外 提供 RESTful 服 务 。 其 代码 如 下 : 


APIRouter (base wsgi.Router) 
Gclassmethod 
def factory(cls, global config, **local config): 
"""Simple paste factory, :class: nova.wsgi.Router" doesn't have one. 
return cls() 
init (self, ext mgr-None, init only-None): 
if ext mgr is None: x 
if self.ExtensionManager: 
ext mgr = self.ExtensionManager () 
else: ` 
raise Exception( ("Must specify an ExtensionManager class")) 
mapper - ProjectMapper () 
self.resources = {} 
self. setup routes (mapper, ext mgr, init only) 
self. setup ext routes (mapper, ext mgr, init only) 
self. setup extensions (ext mgr) 
super(APIRouter, self). init  (mapper) 


def 


接 下 来 是 Compute 所 使 用 到 的 APIRouter， 它 继承 了 Openstack 模 块 下 的 APIRouter 类 。 


以 servers， 也 就 是 Nova 中 instance 相 关 的 RESTful 服 务 为 例 。 这 里 加 载 了 server 的 Router、controller 处 理 模 


块 、collection 集 合 方法 、member 成 员 方法 ， 简 单 来 说 ， 就 是 批量 方法 和 单个 方法 的 定义 。 其 代码 如 下 : 


nova/nova/api/openstack/compute/ init .py 
def setup routes(self, mapper, ext mgr, init only): 
if init only is None or 'consoles' in init only or V 
T 'servers' in init only or ips in init only: 
self.resources['servers'] = servers.create resource(ext mgr) 
mapper.resource("server", "servers", al i 
controller-self.resources['servers'], 
collection-[('detail': 'GET'], 
member-('action': 'POST']) 


至 此 ，Router 搭 建 了 一 条 URL 通 向 Python 方法 的 “道路 ” ， 上 述 过 程 创建 了 URL 到 内 部 Python 方法 controller.action 的 映射 。 


关于 Router 更 详细 的 有 


法 ， 可 以 查看 Router 官 方 文档 。 


74.6 ”组件 间 RPC 调 用 


组 件 间 调 


过 程 (以 nova-scheduler 为 例 ) 的 代码 如 下 : 


nova/bin/nova-scheduler 
server- service.Service.create (binary-'nova-scheduler') 


一 -> 
nova/service.py/create--» init --»start 
这 个 调用 过 程 由 OpenStack Nova 框 架 完 成 ， 会 初始 化 各 种 组 件 参 数 ， 比 如 topic=scheduler、manager=scheduler managers, 


在 start 方 法 中 ，self.conn.create_consumer 创 建 监听 通道 。 


连续 几 个 create_consumer 包 括 topic、topic+hostname ( 传 入 self 作 为 回调 类 ) 。 


declare topic consumer/declare fanout consumer 表 示 以 ProxyCallback 包 装 上 面 的 service， 收 到 消息 后 调用 ProxyCallback 的 _call， 方 法 ， 再 根据 消息 的 method 和 参数 调用 相应 的 方法 。 


TopicConsumer/FanoutConsumer 表 示 创 建 FanoutConsumer 时 ,创建 和 监听 '%s_fanout'exchange 和 '%s fanout 96s'queue, 


发 消息 的 示例 代码 如 下 : 


nova/compute/api.create()-» create instance()-> schedule run instance 
--»rpc.cast/rpc.call 


(rabbitmq 
连接 实现 : $rpc backend-"nova.rpc.impl kombu") 
-»impl kombu.cast() --»rpc amqp.cast() -»topic send (TopicPublisher) 


-»impl kombu/ 
TopicPublisher.send - » kombu package publish 


744 Hypervisor 驱 动 


在 Horizon 界 面 中 看 到 的 虚拟 机 的 实例 在 Xen 或 libvirt 中 叫做 域 (Domain) 。 每 个 实例 都 有 实例 ID (instance id) 和 实例 名 (instance name) 。 在 Hypervisor 驱 动 层面 ， 实 例 1D 与 实例 名 在 某 种 意义 
上 是 一 个 意思 。Hypervisor 驱 动 中 的 实例 ID 或 Domain ID， 采 用 8 位 十 六 进 制 数 表示 ， 递 增 为 数据 库 自 增长 ID。 大 多 数 虚 拟 化 平台 也 有 自己 的 ID， 来 表示 唯一 的 虚拟 机 。 这 些 1D 必 须 保持 在 平台 内 部 的 特定 
层面 ， 始 终 需要 接口 对 外 提供 调用 ， 通 过 平台 内 部 的 映射 关系 ， 最 终 向 用 户 展示 为 方便 读 写 的 实例 名 。 这 一 关系 是 通过 nova.compute 的 数据 库 结 构 来 存储 相关 信息 的 。 


nova/nova/virt/driver.py 为 所 有 Hypervisor 驱 动 的 基础 类 ， 这 个 模块 抽象 了 一 系列 虚拟 化 驱动 所 应 该 具备 的 行为 。 每 个 Hypervisor 只 要 实现 这 个 驱动 接口 ，OpenStack 就 可 调用 接口 中 的 方法 对 它 进 
行 操作 。 这 里 只 介绍 比较 常用 的 libvirt/kvm。 大 多 数 的 开源 虚拟 化 都 可 以 用 libvirt 来 管理 ，libvirt 这 一 中 间接 口 层 ， 转 换 、 处 理 了 各 个 不 同 Hypervisor 的 接口 ， 让 它们 对 外 提供 相同 的 接口 、 命 令 行 。libvirt 
解 耘 了 各 个 Hypervisor 命 令 、 接 口 不 同 的 问题 。 


nova/nova/virt 目 录 下 含有 所 有 Nova 与 Hypervisor 相 关 的 模块 ， 如 图 7-4 所 示 。 


Ex baremetal 
Ex disk 

Ex hyperv 

£x libvirt 

(y powervm 


(3 vmwareapi 

(x xenapi 

A inib .py 

I configdrive.py 
[3 driver.py 

e event.py 


v 3v wv Ww "wv Ww V 


] fake.py 
1 Firewall.py 
images.py 


四 


|F 


à netutils.py 


virtapi.py 


storage users.py 


图 7-4  nova/nova/virt E 3k 


E interfaces.template 


可 以 看 到 virt 目 录 下 最 外 层 的 py 文件 全 部 是 抽象 或 基础 类 ， 二 级 目录 是 各 自 Hypervisor 的 实现 。Grizzly 版 有 baremetal、hyperv、libvirt、powervm、vmwareapi、xenapi。disk 为 镜像 磁盘 处 理 的 实 
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要 是 挂 载 虚 拟 化 磁盘 ， 让 操作 系统 可 以 像 操 作 可 插 拔 的 物理 硬盘 一 样 ， 对 虚拟 化 磁盘 镜像 中 的 目录 、 文 件 ， 进 行 修改 、 添 加 、 删 除 操作 。 虚 拟 机 的 注入 就 是 通过 挂 载 虚拟 磁盘 镜像 文件 来 实现 。 


nova/novay/virt/driver.py 相 较 于 前 几 个 版 本 已 经 做 了 很 多 修改 ， 相 对 简洁 易 懂 ， 同 时 文件 内 部 有 大 量 注释 ， 可 以 帮助 理解 。 上 文 介绍 了 虚拟 机 的 状态 转换 ， 这 里 介绍 一 下 Nova 是 如 何 变更 Hypervisor 
状态 的 ， 其 代码 如 下 。spawn、destory、reboot 等 方法 都 是 虚拟 机 需要 实现 的 接口 方法 。 继 承 类 只 要 实现 方法 或 者 利用 raise NotlImplementedError( 表 明 不 支持 该 操作 。load_compute driver() 方 法 会 


根据 nova.conf 配 置 文件 载 入 具体 的 驱动 模块 。 


def load compute driver(virtapi, compute driver-None): 

"""Load a compute driver module. K 

Load the compute driver module specified by the compute driver 

configuration option or, if supplied, the driver name supplied as an argument. 

Compute drivers constructors take a VirtAPI object as their first object and 
this must be supplied. 

:param virtapi: a VirtAPI instance 

:Param compute driver: a compute driver name to override the config opt 

:returns: a ComputeDriver instance 

if not compute driver: 
compute driver - CONF.compute driver 

if not compute driver: i 


LOG.error( ("Compute driver option required, but not specified")) 
sys.exit(1) 
LOG.info( ("Loading compute driver '$s'") $ compute driver) 


try: 
X driver = importutils.import_object_ns ('nova.virt', 
compute driver, 
virtapi) 
return utils.check isinstance (driver, ComputeDriver) 
except ImportError as e: 
LOG.error( ("Unable to load the virtualization driver: $s") $ (e)) 
sys.exit(1) 
def compute driver matches (match): 
return CONF.compute driver and CONF.compute driver.endswith (match) 


看 完了 接口 ， 下 面 再 来 看 看 实现 ， 这 里 选择 比较 常用 的 libvirt， 其 他 接口 与 之 类 似 ， 只 是 实现 功能 的 完善 


Hypervisor、KVM、LXC、QEMU、UML 和 Xen， 基 本 涵盖 主流 开源 项 目 。 


度 不 同 ，libvirt 是 


前 支持 较 好 的 。nova/nova/virt/libvirt/driver.py 中 描述 了 目前 libvirt 支 持 的 


libvirt driver 初 始 化 时 就 定义 了 connection， 这 是 与 Hypervisor 连 接 的 字符 串 ， 如 果 与 Hypervisor 通 信 发 生 了 问题 ， 可 以 从 这 里 开始 Debug， 看 看 是 不 是 连接 出 现 了 问题 。 


_get_connection( 调 用 connect() 方 法 获取 Hypervisor 连 接 ，uri() 方 法 则 定义 了 全 部 类 型 的 连接 方法 ， 其 


代码 如 下 : 


def get connection (self): 
if not self. wrapped conn or not self. test connection(): 
LOG.debug( ('Connecting to libvirt: $s'), self.uri()) 
if not CONF.libvirt nonblocking: 
self. wrapped conn = self. connect (self.uri(), 
i z m self.read only) 
else: 
self. wrapped conn - tpool.proxy call( 
(libvirt.virDomain, libvirt.virConnect), 
self. connect, self.uri(), self.read only) 
try: 
LOG.debug("Registering for lifecycle events $s" $ str(self)) 
self. wrapped conn.domainEventRegisterAny( 
None, 
libvirt.VIR DOMAIN EVENT ID LIFECYCLE, 
self. event lifecycle callback, 
self) x t 
except Exception, e: 
LOG.warn( ("URI $s does not support events"), 
self.uri()) 
return self. wrapped conn 
Gstaticmethod i pi 
def connect(uri, read only): 
def connect auth cb(creds, opaque): 
if len(creds) == 0: 
return 0 
LOG.warning( 
("Can not handle authentication request for $d credentials") 
$ len(creds)) 
raise exception.NovaException( 


("Can not handle authentication request for $d credentials") 
% len(creds)) 
auth = [[libvirt.VIR CRED AUTHNAME, 
libvirt.VIR CRED ECHOPROMPT, 
libvirt.VIR CRED REAIM, 
libvirt.VIR CRED PASSPHRASE, 
libvirt.VIR CRED NOECHOPROMPT, 
libvirt.VIR CRED EXTERNAL], 
connect auth cb, 
None] 
try: 
if read only: 
return libvirt.openReadOnly (uri) 
else: 
return libvirt.openAuth(uri, auth, 0) 
except libvirt.libvirtError as ex: 
LOG.exception( ("Connection to libvirt failed: $s"), ex) 
payload = dict(ip-LibvirtDriver.get host ip addr(), 
method-' connect', 
reason-ex) 
notifier.notify (nova context.get admin context(), 
notifier.publisher id('compute'), 
'compute.libvirt.error', 
notifier.ERROR, 
payload) 
pass 
Gstaticmethod 
def uri(): 
if CONF.libvirt type == ' on 
uri = CONF.libvirt uri or 'uml:///system 
elif CONF.libvirt type == 'xen': 
uri = CONF.libvirt uri or 'xen:///' 
elif CONF.libvirt type == 'lxc': 
uri = CONF.libvirt uri or '1xc:///' 
else: E 
uri = CONF.libvirt uri or 'qemu:///system' 
return uri T 


获取 连接 后 ， 就 可 以 通过 libvirt 接 口 来 访问 各 个 Hypervisor， 非 常 简洁 。libvirt driver 还 提供 了 连接 测试 方法 ， 


判断 当前 libvirt 的 通信 情况 ， 其 代码 如 下 : 


_conn = property( get connection) 
def test connection (self): 
try: 
self. wrapped conn.getLibVersion() 
return True 
except libvirt.libvirtError as e: 
if (e.get error code() in (libvirt.VIR ERR SYSTEM ERROR, 
libvirt.VIR ERR INTERNAL ERROR) and 
e.get error domain() in (libvirt.VIR FROM REMOTE, 
libvirt.VIR FROM RPC)): 
LOG.debug( ('Connection to libvirt broke')) 
return False 
raise 


75 “虚拟 机 镜像 格式 


虚拟 机 镜像 格式 有 以 下 几 种 。 

“ RAW: 不 含 数据 结构 的 磁盘 镜像 格式 。 

< VHD: 常用 的 虚拟 机 镜像 格式 ， 可 以 被 Vmware、Xen、Hyper-V、VirtualBox 等 使 用 。 
< VMDK: VMware 常用 的 镜像 格式 。 

“VDI: VirtualBox 常 用 的 镜像 格式 ，QEMU 也 支持 此 格式 。 

(ISO: 光驱 镜像 封装 格式 。 

| qcow2: KVM 支 持 的 镜像 格式 ， 支 持 Copy on Writes 

< AKI: 亚马逊 kernel 镜 像 格式 。 

< ARI: 亚马逊 ramdisk 镜 像 格 式 。 


“AMI: 亚马逊 庶 拟 机 镜像 格式 。 


容器 封装 格式 ， 用 来 描述 镜像 文件 的 格式 ， 有 以 下 几 种 。 
OVF: 常用 格式 ， 可 以 描述 一 个 或 多 个 虚拟 机 的 镜像 状态 。 
“ bare: 裸 格式 ， 没 有 封装 和 元 数据 来 描述 。 

AKI: 亚马逊 kernal 镜 像 封 装 。 

CARE: 亚 马 壕 tamdisk 镜 像 封装 。 


AMI: 亚 马 进 虚拟 机 镜像 封装 。 


一 般 镜像 格式 转换 可 以 通过 qemu-img convert 命 令 和 VMware 的 Disk Manager 工 具 进 行 格式 转换 。 


第 8 章 ”Neutron 网 络 组 件 


在 OpenStack 中 ，Neutron 扮 演 了 “网 络 即 服务 ” (NaaS) 的 角色 。 


8.1 ” ”Neutron 概述 


1. 为 什么 要 引入 Neutron 


在 早期 的 OpenStack 版 本 中 (Folsom 版 本 之 前 ) ， 并 没有 Neutron (在 Havana 版 本 前 叫做 Quantum) 组 件 ， 网 络 方面 的 功能 是 在 Nova 中 实现 的 ， 即 称 为 nova-network 的 一 个 服务 ， 该 服务 提供 简 


单 的 Linux 网 桥 (Bridge) 模式 和 VLAN 的 网 络 结构 。 随 着 OpenStack 的 迅猛 发 展 ， 加 入 到 OpenStack 委 
增加 的 功能 ， 而 nova-network 的 功能 不 能 满足 该 需求 ， 于 是 ， 一 个 由 Nicira 公 司 (该 公司 现 已 被 VMware 收 购 ) 3 


FE 态 图 的 开发 人 员 越 来 越 多 ， 对 OpenStack 的 需求 也 越 来 越 多 。 在 网 络 方面 ， 网 络 虚 拟 化 是 一 个 必须 
E 导 的 网 络 项 目 Neutron 应 运 而 生 ， 并 且 很 快 成 为 了 OpenStack 的 一 个 官方 子 项 目 ， 取 代 了 


nova-network 的 位 置 。OpenStack 停 止 了 对 nova-network 的 开发 ， 其 网 络 功能 从 Nova 组 件 中 脱离 出 来 ， 由 Neutron 项 目 来 实现 。 这 样 云 计算 环境 中 三 大 主要 组 件 一 一 计算 、 存 储 及 网 络 的 功能 ,在 


Openstack 的 生态 圈 中 分 别 由 Nova、Cinder 和 Neutron 来 担任 。 


如 果 读 者 以 前 用 过 比较 简单 的 虚拟 化 KYM 或 Xen 的 技术 ， 甚 至 YMware， 会 发 现 它们 的 网 络 功 全 


EZRA 


一 的 。 以 KVM 为 例 ， 简 单 地 使 用 Linux Bridge 技 术 ， 把 虚拟 机 的 虚拟 网 口 桥接 到 物理 机 的 网 口 


上 ， 形 成 一 个 网 桥 的 模式 。 早 期 的 nova-network 也 采用 了 这 种 模式 Flat 或 者 FlatDHCP 模 式 。 这 种 模式 最 大 的 缺陷 是 无 法 进行 按照 


不 相通 的 。 为 了 达到 每 个 项 目 中 的 网 络 隔离 ，nova-network 中 设计 了 另外 一 种 模式 : VLAN 模 式 。 该 模式 为 每 个 项 
持 VLAN 的 物理 交换 机 来 连接 各 个 nova-network 节 点 。VLAN 模 式 虽 然 有 隔离 的 作用 ， 但 还 是 缺少 QoS、ACLs、 监 控 等 功能 ， 而 


的 VLAN 交 换 机 参与 ， 因 此 不 能 实现 跨 机 房 的 二 层 通信 。 


为 了 解决 这 些 功 能 上 的 问题 ，OpenStack 必 须 使 用 一 些 不 同 于 以 前 的 技术 来 实现 网 络 虚拟 化 的 功能 ， 壁 如 软件 定义 网 络 (SDN). 


户 项 目 分 类 的 网 络 隔离 。 简 单 来 说 ， 所 有 的 虚拟 机 都 是 网 络 互通 或 者 互 
创建 一 个 VLAN 和 网 桥 ， 同 一 个 项 目的 云 主 机 分 配 相 同 的 VLAN 号 ， 这 样 就 需要 一 台 支 


络 规模 一 旦 扩大 ，VLAN 的 网 络 架 构 会 变 得 很 复杂 。 由 于 需要 使 用 物理 


隧道 技术 等 。 在 使 用 新 的 技术 方法 方面 ，Neutron 同 样 采用 了 plugin 


的 方式 来 支持 各 种 不 同 的 开源 技术 和 商业 厂商 的 网 络 虚拟 化 产品 。 例 如 ， 在 nova-network 中 使 用 的 Linux Bridge 技 术 ， 在 新 的 Neutron 中 ， 则 是 以 Linux Bridge Plug-in 插 件 来 提供 支持 。 想 要 查看 所 支持 
的 plug-in 的 情况 ， 可 以 访问 Neutron 的 GitHub 项 目 源 代码 所 在 的 网 页 : https;//github.com/OpenStack/neutron/tree/master/neutron/plugins, 


2.Neutron 的 虚拟 网 络 


使 用 了 Neutron 组 件 后， 用 户 可 以 在 OpenStack 中 为 自己 的 项 目 创建 一 个 或 多 个 私有 网 络 ， 这 些 网 络 在 逻辑 上 与 其 他 用 户 的 网 络 隔离 ， 即 使 在 同一 个 项 目 中 ， 不 同 的 私有 网 络 也 是 隔离 的 。 在 Neutron 


中 ， 含 有 以 下 几 个 虚拟 的 设备 : 
< network (网 络 ) 
- subnet ( 子 网 ) 
“ router (路 由 器 ) 


“ port (端口 ) 


可 以 把 这 些 虚 拟 出 来 的 设备 看 成 机 房 中 物理 的 设备 ， 它 们 可 实现 同 物理 设备 同样 的 功能 。 网 络 中 包含 了 子 


发 数据 包 。 端 口 就 是 交换 机 上 一 个 个 用 来 插入 网 线 的 口 。 


Neutron 中 可 以 设置 一 个 以 上 的 外 部 网 络 ， 外 部 网 络 和 项 目 中 创建 的 私有 网 络 不 同 ， 它 不 是 通过 软件 定义 网 


， 一 个 个 子 网 就 像 在 交换 机 上 使 用 VLAN 划 分 出 来 的 一 样 。 路 由 器 在 不 同 子 网 和 网 络 之 间 转 


络 (SDN) 定义 的 网 络 ， 这 个 网 络 上 所 分 配 的 IP 地 址 ， 都 是 可 以 从 外 部 访问 到 的 。 如 何 让 外 


部 网 络 或 Internet 上 的 用 户 访问 到 OpenStack 内 部 的 虚拟 机 呢 ? 例如 ， 现 在 有 一 台 Web 服 务 器 放 在 OpenStack 的 去 平台， 有 一 个 SDN 定 义 的 虚拟 网 络 的 IP 地 址 A。 这 时 候 就 需要 用 到 前 面 提 到 的 外 部 网 络 


了 ， 分 配 一 个 外 部 网 络 的 IP 地 址 B。 接 下 来 就 需要 前 面 提 到 的 路 由 器 “上 场 ”了 。 创 建 一 个 虚拟 路 由 


路 由 ， 同 时 ，Neutron 把 外 部 IP 地 址 B 绑 定 到 虚拟 机 虚拟 网 络 连 接 的 端口 上 ， 这 样 从 外 面 访问 外 部 地 址 B 就 相当 于 访问 了 虚拟 机 。 


的 范围 、 安 全 组 译 套 等 。 


Neutron 的 网 络 功能 可 以 通过 plug-in 的 方式 扩展 。 除 了 前 面 提 到 的 功能 外 ， 更 多 功能 的 plug-in 扩 展 被 开发 者 编写 出 来 


balancing-as-a-service (LBaaS， 负 载 均 衡 即 服务 ) 等 。 


3.Neutron 架 构 


器 ， 把 这 两 个 网 络 连 接 起 来 ， 和 现实 中 的 物理 路 由 器 一 样 ， 虚 拟 路 由 器 会 把 外 部 网 络 和 虚拟 机 的 数据 进行 


同时 ，Neutron 也 支持 类 似 于 防火 墙 的 安全 组 的 功能 。 安 全 组 可 以 定义 虚拟 机 开放 的 TCP/UDP 端 口 或 端口 范围 ， 还 有 ICMP 等 常 


的 协议 ， 不 但 可 以 定义 进入 和 外 出 两 个 方向 的 规则 ， 还 能 定义 源 地 址 


上 文 从 功能 方面 讲述 了 Neutron 的 概念 ， 本 节 将 从 软件 系统 的 角度 介绍 安装 使 用 Neutron 时 所 需 的 软件 包 和 进程 服务 。 


壁 如 已 经 


可 以 使 用 的 Firewall-as-a-service (FWaaS， 防 火 墙 即 服务 ) 和 Load- 


Neutron 是 一 个 独立 的 组 件 ， 和 Nova、Glance、Keystone 一 样 ， 相 互 独 立 ， 有 独立 命令 行 客户 端 ， 它 也 是 通过 Keystone 来 进行 认证 的 。 


Neutron 中 有 许多 服务 进程 ， 来 完成 各 自 不 同 的 功能 。 和 Glance、Keystone 将 服务 安装 在 控制 节点 上 不 同 ， 在 一 个 实际 的 部 署 Neutron 的 环境 中 ， 往 往 会 在 不 同 的 节点 上 安装 多 个 服务 ， 这 也 是 让 初学 
者 不 容易 理解 的 地 方 。 很 多 初学 者 虽然 按照 文档 安装 成 功 了 ， 但 是 换 一 个 环境 后 ， 还 是 不 知道 应 该 在 哪些 节点 上 安装 相应 的 软件 服务 。 


清楚 这 些 服务 的 作用 和 相互 之 间 的 交互 关系 ， 对 理解 Neutron 的 架 


构 有 着 很 大 的 帮助 。 在 Neutron 中 ， 有 些 服务 称 为 agent，Openstack 社 区 通过 不 断 地 开发 新 的 agent 来 丰富 Neutron 的 网 络 功能 。 在 一 个 最 小 安装 使 用 的 环境 中 ， 需 要 部 署 以 下 服务 和 agent。 


: neutron-server: Neutron 的 主 服务 进程 ， 是 一 个 Python 的 守护 进程 ， 提 供 Neutron 的 API 接 口 ， 负 


责 接 收 用 户 通过 API 传 入 的 请 求 ， 然 后 把 不 同 的 请 求 传 到 Neutron 相 应 的 agent。 在 这 期 间 ，neutron-servet 需 


要 在 数据 库 中 存 取 静态 数据 ， 因 此 这 个 服务 可 以 安装 在 控制 节点 或 网 络 节点 上 ， 抑 或 是 单独 的 一 台 节点 上 ， 但 是 必须 保证 能 访问 数据 库 ， 能 进行 RPC 通 信和 Keystone 认 证 。 


“ neutron-plugin-XXX: 底层 网 络 虚 拟 化 技术 的 插件 ，XXX 取 决 于 底层 使 用 的 网 络 技术 。 目 前 OpenStack 支 持 多 种 网 络 技术 ， 表 8-1 列 出 了 主要 的 网 络 plugin。 


表 8-1 


Plugin 列 表 


plugin 


REST Proxy Plug-in for Big Switch and FloodLight 


Controllers 


Brocade Plugin 


Cisco Neutron Virtual Network Plugin 


Cloudbase Hyper-V Plug-in 


Linux Bridge plugin 


Midonet Plug-in 


Modular Layer 2 (ML2) plugin 


Mellanox Neutron Plugin 


NEC OpenFlow Plugin 


plugin 


Nicira NVP Plug-in 


Open vSwitch (OVS) plugin 


PLUMgrid Plugin 


Ryu Plug-in 


根据 实际 情况 ， 可 以 选择 一 种 网 络 


平台 前 ， 可 以 从 性 能 、 规 模 、 费 
虚拟 化 技术 的 兼容 表 ， 见 表 8-2。 


网 络 虚拟 化 插件 
(Neutron plugin) 


Big Switch/Floodlight 
Brocade 

Cisco 

Cloudbase Hyper-V 
Linux Bridge 
Midonet 

ML2 

Mellanox 

NEC OpenFlow 
Nicira NVP 

Open vSwitch 
PLUMgrid 

Ryu 


虚拟 化 技术 作为 Neutron 的 底 
件 提供 良好 的 商业 支持 ， 如 VMware 的 Nicira; 有 些 是 和 特定 的 计算 虚拟 化 技术 结合 使 用 ， 如 Hy 
、 维 护 、 支 持 等 各 方面 综合 考虑 ， 选 择 一 个 合适 的 产品 。 但 是 


文档 链接 
http://www.openflowhub.org/display/floodlightcontroller/ 
Neutron+REST+Proxy+Plugin 
http://wiki.OpenStack.org/brocade-neutron-plugin 
http://wiki.OpenStack.org/cisco-neutron 
http://www.cloudbase.it/quantum-hyper-v-plugin/ 
http://wiki.OpenStack.org/Neutron-Linux-Bridge-Plugin 
http://www.midokura.com/ 
http://wiki.OpenStack.org/wiki/Neutron/ML2 
https://wiki.OpenStack.org/wiki/Mellanox-Neutron 


http://wiki.OpenStack.org/Quantum-NEC-OpenFlow-Plugin 


文档 链接 
http://www.vmware.com/products/nsx 
http://openvswitch.org/OpenStack/documentation/ 
http://wiki.OpenStack.org/PLUMgrid-Neutron 


https://github.com/osrg/ryu/wiki/OpenStack 


层 ， 不 同 的 软件 技术 有 着 各 自 不 同 的 特性 、 性 能 、 可 扩展 性 和 使 用 方法 ， 有 些 设 置 搭载 在 厂商 的 硬件 设备 中 ， 如 Cisco、NEC 等 ; 有 些 软 
per-V 的 plugin。 正 是 由 于 Neutron 支 持 有 如 此 多 的 plugin 可 作为 网 络 虚拟 化 的 选择 ， 在 规划 OpenStack 云 


同时 必须 考虑 使 用 的 plugin 是 否 支 持 计算 节点 的 底层 计算 虚拟 化 技术 。 下 面 给 出 一 个 网 络 虚拟 化 技术 和 计算 


表 8-2 网 络 虚 拟 化 插件 和 计算 虚拟 化 的 兼容 列表 


libvirt(KVM/QEMU) 


Hyper-V Bare-metal 


(是 否 支持 ) 


YES 


YES 


ww | | — 


Qi 从 Havana 版 本 开始 ，Open vSwitch 和 Linux Bridge 的 plugin 已 经 被 弃 用 ， 取 而 代 之 的 是 Modular Layer 2 (ML2) plugins Open vSwitch 和 Linux Bridge 这 两 个 plugin 的 agent (agent 将 在 后 面 提 到 ) 仍 可 使 


用 ， 但 是 Icehouse 以 后 的 版 本 中 相关 代码 将 被 删除 。 


在 未 来 的 新 版 本 中 ， 这 两 个 agent 只 能 使 用 ML2 的 plugin。 除 了 以 上 两 个 agent，ML2 的 plugin 还 支持 Hyper-V L2 的 agent。 


因 


户 到 底 使 


为 neutron-server 需 要 知道 


plugin 必 须 安装 在 neutron-server 的 节点 上 ， 了 哪 种 底层 的 虚拟 化 技术 ， 并 且 把 , 


neutron-plugin-XXX-Agent: plugin 的 agent。 通 常 来 说 ， 选 择 了 何 种 plugin， 就 要 安装 这 个 plugin 的 agent。 当 然 也 有 例 
Bridge 和 Hyper-V 的 plugin。 另 外 ， 有 些 厂 商 的 plugin 没 有 agent， 璧 如 Cisco、Nicira 等 ， 
Message Queue 与 plugin 和 neutron-server 通 信 ， 收 到 指令 后 再 使 用 相应 的 节点 上 的 底 


层 网 络 命令 。 


plugin 的 agent 必 须 安装 在 那些 需要 处 理 虚 拟 机 网 络 数 


居 包 的 节点 上 。 简 生 


户 的 请 求 交 给 这 个 具体 技术 的 plugin 进 行 处 理 。 


地 说 ， 由 于 虚拟 机 在 计算 节点 上 运行 ， 所 有 虚拟 机 的 网 卡 数 所 


外 ， 壁 如 前 面 说 的 ML2 的 plugin， 它 可 以 支持 Open vSwitch, Linux 


因为 它们 已 经 将 agent 集 成 在 自身 的 软件 或 者 硬件 设备 中 了 。agent 负 责 虚拟 网 络 上 的 数据 包 处 理 ， 通 过 


肯定 是 从 计算 节点 (安装 了 nova-compute) 物理 网 卡 上 H 


入 ， 所 以 计算 节点 必须 安装 agent。 另 外 ， 在 安装 了 neutron-DHCP-agent、neutron-l3-agent、neutron-lbaas-agen 服 务 的 节点 上 ， 也 需要 安装 agent， 因 


据 。 通 常情 况 下 ， 在 安装 plugin 的 agent 的 同时 ， 也 会 依赖 安装 相对 应 的 plugin 包 。 


为 它们 也 会 处 理 流 入 /流出 虚拟 机 的 网 络 数 


.neutron-DHCP-agent; 顾名思义 ， 它 就 是 用 来 给 虚拟 机 提供 DHCP 功 能 的 一 个 服务 。 在 一 个 环境 中 ，DHCP-agent 可 以 存在 多 个 。 在 多 台 服 务 器 上 安装 DHCP-agent 后 ， 可 以 为 特定 的 网 络 指定 使 用 哪个 
DHCP-agent。 前 面 已 经 说 过 ， 安 装 DHCP 的 节点 是 作为 数据 流转 发 的 节点 ， 需 要 安装 相应 的 plugin agent。DHCP-agent 可 以 安装 在 一 个 单独 的 节点 上 ， 也 可 以 和 其 他 服务 安装 在 一 起 ， 但 必须 保证 该 节点 能 与 


neutron-server 通 过 RPC 通 信 。 


“ neutron-l3-agent: 该 服务 是 用 来 提供 虚拟 机 访问 外 网 功能 的 ， 结 合 FloatingIP 后 ， 也 可 使 外 部 网 络 访问 平台 上 的 虚拟 机 ， 在 原理 上 是 做 三 层 路 由 转发 。 同 DHCP 类 似 ，L3-agent 也 可 以 存在 多 个 服务 ， 节 


点 上 必须 安装 plugin agent。 


“ neutron-metadata-agent. neutron-LBaaS-agent. neutron-FWaS-agent: 这 是 一 些 额外 的 metadata、LBaaS、FWaaS 等 服务 ， 这 些 服务 并 不 是 必要 的 组 件 服务 ， 一 个 最 小 的 环境 中 可 以 不 安装 这 些 服 务 ,但 是 如 
果 想 让 云 平台 有 更 多 功能 ， 那 么 安装 这 些 服务 将 是 很 好 的 选择 。 顾 名 思 义 ， 它 们 分 别提 供 元 数据 注入 、 负 载 均衡 和 防火 墙 功能 。 如 果 想 在 环境 中 测试 使 用 这 些 组 件 ， 可 把 它们 简单 地 和 DHCP、L3 的 agent 安 


装 在 一 起 。 另 外 ，FWaaS 已 经 包含 在 L3 中 ， 无 须 安装 额外 的 软件 包 。 


总 体 来 说 ，Neutron 作 为 一 个 独立 的 模块 ， 它 自身 就 有 很 多 不 同 功 能 的 服务 插件 ， 有 些 服务 可 以 独立 于 安装 ， 有 些 服务 需要 依赖 其 他 组 件 服务 ， 所 以 理解 每 个 服务 的 作用 ， 以 及 它 如 何在 整个 云 平台 中 
运作 ， 对 理解 架构 是 很 有 必要 的 。 上 面 简 单 叙述 了 几 个 服务 插件 的 功能 希望 读者 看 后 能 有 个 初步 的 印象 。 对 刚 接触 OpenStack 的 大 多 数 用 户 来 说 ， 图 8-1 是 一 个 最 基本 的 多 节点 架构 ， 网 络 上 有 针对 这 个 


基本 架构 的 详细 安装 和 使 用 说 明文 档 。 
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图 8-1 最 基本 的 多 节点 架构 


8.2 ”使 用 Open vSwitch 的 plugin 


1.Open vSwitch 介 绍 


Node 


Open vSwitch (OVS) 是 一 个 开源 的 虚拟 交换 机 软件 ， 被 Neuron 支 持 并 使 用 ， 它 不 但 能 作为 一 个 软 交 换 机 在 系统 的 管理 程序 中 运行 ， 也 能 控制 物理 的 交换 机 设备 。 在 Neutron 中 ，Open vSwitch 以 


plugin 的 形式 被 使 用 ， 它 主要 包括 以 下 两 个 部 分 。 


“ plugin: 在 Neutron 服 务 运行 的 时 候 被 载 入 。pPlugin 负 责 处 理 API 请 求 和 在 后 端 数据 库 中 保存 相关 的 网 络 逻辑 数据 。 


agent: 在 每 个 计算 节点 和 网 络 节点 运行 。agent 负 责 从 配置 文件 和 中 心 数据 库 收 集 数据 ， 并 与 本 地 的 Open VSwitch 实 例 通 信 ， 把 要 执行 的 网 络 流程 操作 发 送 给 实例 ， 来 实现 基于 逻辑 数据 模型 的 网 络 。 


对 于 OpenStack 来 说 ，Open vSwitch 可 以 在 内 核 空间 ， 或 者 仅仅 在 用 户 空间 中 运行 。 和 物理 的 交换 机 类 似 ，Open vSwitch 会 根据 端口 上 的 配置 ， 负 责 给 流 经 的 数据 打上 合适 的 标记 (tag) 并 转发 。 


除了 一 开始 需要 手动 建立 几 个 网 桥 之 外 ， 其 余 大 多 数 Neutron 和 OVS 的 通信 都 是 通过 plugin 来 完成 的 。 当 然 ，F 
围 。 


2. 基 本 的 网 络 分 类 


户 也 可 以 根据 对 网 络 的 需求 ， 绕 过 Neutron 直 接 使 用 


OVS 命 令 配 置 ， 这 不 是 本 书 讨论 的 范 


作为 网 络 服务 ， 核 心 的 功能 就 是 提供 虚拟 机 和 外 界 的 网 络 连接 。 在 Neutron 中 ， 创 建 的 网 络 可 以 分 为 两 类 : 


* Provider 网 络 


* Tenant H 2&- 


这 两 种 网 络 都 可 以 提供 虚拟 机 的 网 络 连接 ， 必 须 在 平台 环境 中 至 少 配置 一 种 网 络 。Provider 网 络 可 以 直接 给 虚拟 机 使 


Provider 网 络 ， 只 能 由 Openstack 管 理 员 角色 创建 ， 直 接 映 射 到 一 个 在 数据 中 心 存 在 的 物理 网 络 。Pr 


Tenant 网 络 是 每 个 项 目 中 创建 的 网 络 。 上 默认 情况 下 ， 这 种 类 别 的 网 络 不 和 其 
是 相互 隔离 的 ， 所 以 可 以 在 Neutron 创 建 虚拟 路 由 器 ， 使 用 3-agent 使 不 同 的 网 络 实现 互相 通信 。 


辐 8-2 是 一 个 简单 的 两 种 网 络 类 型 使 用 示例 。 连 接 外 部 网 络 的 Provider Network 提 供 
agent， 创 建 路 由 器 来 使 虚拟 机 访问 外 部 。 同 时 ， 创 建 的 两 个 不 同 的 Tenant 网 络 只 能 与 同一 网 络 中 的 虚拟 机 通信 。 


3.OVS 实 例 模型 


本 节 将 要 介绍 在 多 节点 的 环境 中 ,使 
为 在 Neutron 的 OVS 环 境 中 将 大 量 使 用 这 几 种 虚拟 设备 。 


下 面 开始 介绍 br-int 和 br-tun。 在 安装 


Open vSwitch 作 为 Neutron 的 plugin 的 情况 下 ， 网 络 数据 包 的 流向 到 底 是 什么 样 的 。 首 先 ， 读 者 必须 了 解 在 Linux 下 网 桥 、tap 设 备 、veth 设 备 的 基础 概念 ， 


， 也 可 以 创建 给 Neutron 中 的 路 由 器 使 用 ， 以 提供 和 外 部 (WAN) 访问 。 


ovider 网 络 中 可 以 设 定 多 种 网 络 : Flat, VLAN, GRESS, VLAN, ， 很 好 理解 ， 就 是 符合 802.1Q 
tagged 的 网 络 ;而 Flat 则 是 扁平 化 的 网 络 ， 通 俗 来 说 ， 就 是 没有 任何 tagged; GRE 网 络 使 用 tunnel 技 术 进行 数据 传送 。 


他 项 目的 网 络 相 联系 ,它们 是 相互 独立 并 隔离 的 。 实 际 情况 下 ， 在 Tenant 网 络 中 会 使 用 VLAN 或 GRE 的 技术 。 因 为 每 个 网 络 


直接 访问 Internet 的 功能 ， 绑 定 到 物理 网 口 eth0 上 。 虚拟 机 可 以 直接 连接 到 这 个 网 络 ， 也 可 以 通过 内 部 使 用 3- 


时 会 建立 br-int 这 个 网 桥 ， 在 OVS 的 plugin 配 置 文件 中 ， 也 可 以 看 到 br-int 和 br-tun 这 两 个 参数 。 这 两 个 参数 是 在 OVS 中 定义 的 网 桥 。 启 动 plugin agent 后 ， 根 据 
配置 文件 ,会 在 OVS 中 建立 br-tun，br-tun 使 用 GRE 技 术 与 远程 其 他 agent 节 点 建立 连接 。 使 用 命令 “ovs-vsctl show" 


， 可 以 看 到 如 图 8-3 所 示 的 界面 。 
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图 8-2 ”两 种 网 络 类 型 使 用 示例 


root&compute-1:-4 ovs-vsctl show 
667fe829-1f94-44dc-af68-7febb0854dfb 
Bridge br-tun 
Port "gre-2" 
Interface "gre-2" 
type: gre 


options: fin keysflow, local ips"10.10.50.2", out keysflow, remote ips"10.50.50.2"1 


Port br-tun 
Interface br-tun 
type: internal 
Port "gre-1" 
Interface “gre-1” 
type: gre 


options: [in keyeflow, local ipe"10.10.50.2", out keyeflow, remote ips"10.10.50.1"] 


Port patch-int 
Interface patch-int 
type: patch 
options: ([peer-patch-tun) 


图 8-3 


D 


目前 为 止 ， 各 个 节点 通过 GRE 隧 道 技术 ， 已 经 实现 了 


创建 虚拟 机 时 ，Neutron 会 根据 选择 的 网 络 ， 首 先 给 虚拟 机 分 配 一 个 tap 设 备 作 为 虚拟 的 
ifconfig 命 令 可 以 看 到 新 增 了 这 个 网 
在 ,虚拟 机 上 已 经 有 了 一 个 接 在 虚拟 网 桥 上 的 网 口 ， 接 下 来 是 如 何 把 这 个 网 口 与 OVS 的 br-tun 连 接 起 来 。 


这 时 会 有 一 对 veth 设 备 出 现 。veth 是 Linux 中 
并 且 把 它们 分 别 连 接 到 前 面 提 到 的 qbr8eaf6158 和 br-int 这 两 个 交换 机 上 。 可 以 使 


# brctl show 
bridge name 
qbr8eaf6158-80 


bridge id STP enabled interfaces 
8000.9e3bbac01473 no 
qvb8eaf6158-80 tap8eaf6158-80 
virbrO 8000.000000000000 yes 
# ovs-vsctl show 
667£e829-1f£94-44dc-af68-7febb0854dfb 
Bridge br-tun 
Port "gre-2" 
Interface "gre-2" 
type: gre 
options: (in key-flow, local ip-"10.10.50.2", out key-flow, 
remote ip-"10.50.50.2") 
Port br-tun 
Interface br-tun 
: internal 
Port "gre-1" 
Interface "gre-1" 
type: gre 
options: (in key-flow, local ip-"10.10.50.2", out key-flow, 
remote ip-"10.10.50.1") 
Port patch-int 
Interface patch-int 
type: patch 
options: (peer-patch-tun] 
Bridge br-int 
Port br-int 
Interface br-int 
type: internal 
Port "qvo8eaf6158-80" 
tag: 12 
Interface "qvo8eaf6158-80" 
Port patch-tun 
Interface patch-tun 
type: patch 
options: (peer-patch-int] 
ovs version: "1.10.2" 


现在 ， 虚 拟 机 的 网 卡 设备 tap8eaf6158-80 已 经 连接 到 了 br-int， 而 br-int 和 br-tun 这 两 个 虚拟 交换 机 在 OVS 也 通过 patch-tun 和 patch-int 互 相连 接 起 来 了 ， 这 样 网 


8-3 显 示 的 是 一 个 计算 节点 上 的 br-tun 网 桥 ， 它 已 经 与 男 外 一 个 计算 节点 和 网 络 节点 进行 了 GRE 的 连接 ， 分 别 为 gre-1 和 gre-2 端 [ 


卡 ， 命 名 为 tapXXX，XXX 是 一 串 数字 和 字母 的 组 合 ， 
命令 “brctl show” 可 以 列 出 存在 的 网 桥 设备 和 端口 。 现 


使 用 命令 “ovs-vsctl show” 后 得 到 的 界面 


。 还 有 一 个 端口 是 br-int， 这 个 后 面 再 介绍 。 


络 的 互通 。 接 下 来 看 看 在 创建 时 ，Neutron 做 了 些 什么 。 


譬如 tap8eaf6158-80， 在 系统 中 使 用 


用 来 标识 的 ， 


。 建 立 一 个 Linux 网 桥 ， 命 名 为 qbr8eaf6158-80。 把 上 面 那个 新 增 的 tap 网 


的 虚拟 网 络 设备 ， 总 是 成 对 出 现 ， 一 对 veth 设 备 的 数据 总 是 从 


接 在 这 个 qbr 的 交换 机 上 ,使 


一 个 流入 ， 从 另 一 个 流出 。Neutron 会 建立 一 对 分 别 命名 为 qvbXXX 和 qvoXXX 的 veth 设 备 ， 
命令 “brctl show” 和 “ovs-vsctl show” 分 别 查询 qbrXXX 和 br-int 这 两 个 交换 机 是 否 已 经 串联 起 来 了 ， 其 代码 如 下 : 


的 数据 已 经 到 达 了 br-tun， 并 且 


中 的 同一 个 网 络 中 的 两 台 虚 拟 机 。 


通过 GRE 隧 道 与 其 他 节点 上 的 tap 设 备 (相同 segmentation_id) 通信， 拥有 相同 segmentation id， 也 就 是 说 ， 是 在 项 


图 8-4 展 示 了 这 些 虚 拟 网 络 设备 之 间 是 如 何 连接 的 。 


SG 


D| rare | 


创建 grel，gre2 等 端口 


4.DHCP Agent 服 务 


由 Open vSwitch 的 GRE 模 块 


图 8-4 ”使 用 GRE 隧 道 时 虚拟 网 络 设备 之 间 的 连接 示意 图 


Neutron 有 一 个 DHCP agent 的 服务 ， 用 来 给 平台 中 的 虚拟 机 动态 分 配 IP。 当 用 户 定义 了 一 个 Tenant 网 络 后， 在 具体 设 定子 网 络 (subnet) 时 ， 可 以 设 定 是 否 在 此 网 络 中 使 用 DHCP。 默 认 DHCP 会 使 
用 Linux 的 network namespaces 技 术 ， 支 持 IP 地 址 的 重复 使 用 。 不 同 的 用 户 可 能 都 会 在 项 目 中 定义 192.168.1.0/24 这 样 的 虚拟 网 络 ， 对 于 大 型 云 平台 来 说 ， 用 户 重复 定义 相同 网 络 ， 或 者 出 现 网 段 重 芭 很 平 
常 ， 这 些 情况 也 很 有 可 能 会 发 生 。 为 了 处 理 这 个 问题 ,引入 了 namespaces。 当 然 ，namespaces 需 要 Linux 内 核 支持 。 如 果 不 需要 使 用 命名 空间 ， 那 么 必须 在 DHCP agent 的 配置 文件 中 把 选项 关闭 ， 其 代 


码 如 下 : 


use namespaces = False 


启用 namespaces 技 术 后 ， 在 网 络 节点 ， 每 一 个 项 目 创建 的 网 络 ， 都 会 存在 一 个 属于 自己 的 网 络 空间 ， 使 用 命令 “ip netns” 可 以 列 出 所 有 存在 的 命名 空间 。DHCP 服 务 的 命名 空间 会 取 名 为 q9DHCP- 


XXX, &ülIqDHCP-bc41b732-86db-4bf4-96c3-e7b228360935, Neutronfi&Fidnsmasqf/E73DHCP serverl 


UDP 的 67 端 | 


。 可 以 使 用 如 下 命令 查看 相关 信息 : 


的 服务 进程 ， 为 每 一 个 项 目 创建 的 网 络 建立 一 个 dnsmasq 进 程 ， 并 且 在 各 自 的 命名 空间 中 监听 


udp 
1i 


4 ip netns exec qDi 
0 


# ip net 
o 


Link encap:Local Loopback 


inet addr:127.0.0.1 Mask:255.0.0.0 


inet6 addr: ::1/128 Scope:Host 


HCP-bc41b732-86db-4bf4-96c3-e70228360935 netstat -an | grep 67 
0 0.0.0.0:67 0.0.0.0:* 
ns exec qDHCP-bc41b732-86db-4bf4-96c3-e70228360935 ifconfig 


UP LOOPBACK RUNNING MTU:16436 Metric:l 
RX packets:0 errors:0 dropped:0 overruns:0 frame:0 
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 


collisions:0 txqueuelen:0 


RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) 

tapbf2b7e9c-72 Link encap:Ethernet HWaddr fa:16:3e:96:dd:b6 

inet addr:192.168.102.3  Bcast:192.168.102.255 Mask:255.255.255.0 
inet6 addr: fe80::f816:3eff:fe96:ddb6/64 Scope:Link 

UP BROADCAST RUNNING MTU:1500 Metric:l 

RX packets:187 errors:0 dropped:0 overruns:0 frame:0 

TX packets:69 errors:0 dropped:0 overruns:0 carrier:0 


collisions:0 txqueuelen:0 


RX bytes:11548 (11.5 KB) TX bytes:6416 (6.4 KB) 


同 虚 拟 机 之 间 的 网 络 连 接 类 似 ，DHCP 服 务 器 上 提供 DHCP 服 务 的 虚拟 网 卡 tapXXX， 会 被 直接 添加 到 br-int 的 交换 机 的 端口 上 ， 这 样 它 就 能 和 同一 网 络 中 虚拟 机 进行 二 层 通信 。 虚 拟 机 启动 时 ， 请 求 会 
在 私有 的 Tenant 网 络 中 广播 ， 运 行 DHCP 节 点 上 的 DHCP 服 务 相应 请 求 ， 这 样 虚拟 机 就 能 获取 到 相应 的 IP。 因 为 使 用 了 namespaces 技 术 ， 所 以 每 个 hamespaces 只 能 收 到 与 自己 segmentation_id 相 同 的 


DHCP 数 据 包 请 求 ， 这 样 就 不 会 造成 iP 冲突。 其 原理 如 


图 8-5 所 示 。 


netnode 


IP namespace 


compute1 


qdhcp-6b7 1 dbb8-e91c-47f0- 


92c4-47882007115d 


dnsmasq 
udp :67 


C) tap1408934[-93 


tap9a41d8fa-a7 
172.241.0.3 


5.L3 Agent 服 务 


Neutron 的 L3 Agent 提 供 了 项 
Linux 的 IP 栈 和 iptables 来 实现 三 层 路 由 的 转发 及 NAT 功 能 。 


户 和 管理 员 在 OpenStack 环 境 中 创建 “路 由 器 ”的 API 扩 展 ， 
QDHCP 中 的 一 样 ， 在 路 由 器 中 也 会 出 现 多 个 路 由 连接 相同 网 络 地 址 段 的 情况 ， 为 了 避免 冲突 ， 默认 neutron-l3-agent 也 使 


namespaces 来 隔离 ， 每 个 由 |3-agent 创 建 的 路 由 器 都 会 在 | 


Floating IP. (浮动 IP) 是 上 


提 到 过 Provider 网 络 ， 从 Neutron 架 构 的 逻辑 上 来 说 ， 如 果 有 一 


从 逻辑 上 来 讲 ，L3 Agent 提 供 了 三 层 路 由 的 功能 ， 在 OpenStack 


再 从 实现 的 过 程 来 看 看 L3 具 体 是 如 何 工作 的 。 首 先 把 l3-agent 的 节点 称 为 网 络 节点 ， 
建 路 由 器 后 ，Neutron 的 数据 库 里 会 增加 相关 的 记录 。 当 给 路 由 器 添加 一 个 端 
并 在 Linux 的 内 核 网 络 命名 空间 中 ， 新 建 一 个 名 为 “qrouter-XXX” 的 命名 空间 ， 前 


GRE 互 相连 通 。 凶 
XXX-XX” 的 端口 ， 


以 查看 相关 IP。 如 果 这 个 路 由 器 上 连接 了 两 个 以 上 的 网 络 ， 在 命名 空间 中 使 


10.0.20.12 


8-5. DHCP Agent 服 务 原理 图 


来 连接 多 个 两 层 网 络 ， 使 各 个 网 络 中 虚拟 机 能 互相 通信 或 访问 外 部 网 络 。L3 


己 的 命名 空间 里 ， 互 不 干扰 。 


个 能 直接 访问 外 网 连接 的 Provider 网 络 ， 就 可 以 从 这 个 网 络 中 获取 Floating IP, 


P'B6. 


的 Dashboard 里 面 ， 有 网 络 拓扑 的 页 面 ， 在 那里 可 以 清晰 明了 地 看 出 虚拟 路 由 在 整个 网 络 中 的 位 置 和 作用 。 


络 节点 OVS 的 br-int 交 : 


端口 时 ， 逻 辑 上 是 把 路 由 器 和 网 络 连接 起 来 ， 具 体操 作 是 在 网 
的 端口 就 是 属于 这 个 命名 空间 中 的 一 个 网 口 ， 使 


ifconfig 命 令 查看 到 的 IP 就 是 每 个 网 络 的 网 关 地 址 ， 使 F 


Agent 的 本 质 其 实 是 利用 


Linux network 


来 提供 外 网 访问 云 平台 上 虚拟 机 这 一 功能 的 。 在 最 早 的 nova-network 的 版 本 中 就 有 这 个 特性 。 随 着 nova-network 被 废弃 ， 现 在 在 Neutron 中 仍旧 保留 了 Floating IP。 前 面 


同 DHCP-agent 一 样 ， 网 络 节 点 和 计算 节点 的 两 层 网 络 通过 Open vSwitch 的 


换 机 上 增加 一 个 名 为 “qr- 


命令 “ip netns exec qrouter-XXX ifconfig” 可 


命令 “netstat-rn” 可 以 看 到 具体 的 路 由 表 。 


， 辟 如 eth0 添 


Floating IP 也 是 通过 |3-agent 实 现 的 ， 其 所 在 的 网 络 是 一 个 Provider 网 络 ， 具 体 实现 是 在 OVS 中 建立 一 个 虚拟 交换 机 ， 在 默认 配置 文件 中 命名 为 br-ex， 然 后 把 一 个 可 以 访问 外 网 的 网 
并 把 这 个 端口 放 在 路 由 器 的 


加 到 这 个 交换 机 br-ex 中 。 当 设置 路 由 器 的 网 关 (Gateway) 时 ， 逻 辑 上 是 把 外 部 网 络 和 路 由 器 连接 起 来 ， 


命名 为 “qg-XXX-XX”， 


体 实现 是 在 br-ex 交 换 机 中 增加 一 个 端口 ， 


£x 


交换 机 br-ex， 最 后 从 eth0 


分 配 的 IP， 把 路 由 器 的 默认 网 关 设置 为 这 


文 个 命名 空间 中 ， 使 用 命令 ifconfig 可 以 查看 到 此 端 


命名 空间 中 。 在 这 个 命名 空 


出 去 。 同 时 ， 给 某 个 虚拟 机 分 配 一 个 Floating IP 后 ， 在 命名 空间 的 iptables 中 ， 做 NAT 映 射 ， 把 访问 Floating IP 的 数据 包 都 转发 到 虚拟 机 Tenant 网 络 上 的 IP， 这 样 就 实现 了 外 网 


第 9 章 ”Cinder 块 存储 组 件 


9.1 Cinder 交互 流程 


个 端口 上 的 IP， 这 样 虚 拟 机 上 默认 网 关 的 流量 就 从 这 个 端口 ， 经 过 


访问 内 部 虚拟 机 。 


9.1.1. Nova 现 有 块 设备 操作 API 统 计 


Nova 已 经 支持 的 块 设备 API 可 以 参考 http://api.openstack.org/api-ref.html 中 Volume Attachments, Volume Extension to Compute 两 个 部 分 说 明 。 


(1) 操作 类 (所 有 删除 操作 都 是 异步 的 ， 需 要 用 户 自行 调用 查询 API 进 行 确 认 ) 


1) 创建 块 设备 (包括 从 快照 恢复 出 块 设备 。 可 以 指定 块 设备 availability zone。 需 要 提供 用 户 ID) 。 


2) 删除 块 设备 (需要 提供 用 户 ID 和 块 设备 ID) 。 


3) 挂 载 块 设备 (需要 指定 用 户 ID、 云 主机 ID、 块 设备 ID) 。 


4) ERRE (需要 指定 用 户 ID、 云 主机 ID、 块 设备 ID) 。 


5) 给 块 设备 建 快照 (需要 提供 用 户 ID 和 块 设备 ID) 。 


6) 删除 快照 (需要 提供 用 户 ID 和 快照 ID) 。 


(2) 查询 类 


1) 列 出 云 主机 上 挂 载 的 块 设备 (需要 指定 用 户 ID 和 云 主机 ID) 。 


2) 根据 云 主 机 1D 及 挂 载 在 其 上 的 块 设备 1D 查 询 挂 载 详细 信息 (需要 指定 用 户 ID、 云 主机 ID、 块 设备 ID) 。 


3) 查询 用 户 所 有 的 块 设备 (需要 提供 用 户 ID) 。 


4) 根据 块 设备 ID 查询 用 户 某 个 块 设备 的 详细 信息 (需要 提供 用 户 ID 和 块 设备 ID) 。 


5) 查询 用 户 所 有 的 块 设备 快照 (需要 提供 用 户 ID) 。 


6) 查询 用 户 所 有 的 块 设备 快照 详细 信息 (需要 提供 用 户 ID 和 快照 ID) 。 


9.1.2. ”Nova-Cinder 交 互 流程 分 析 


这 里 只 选择 两 个 比较 典型 的 交互 流程 进行 分 析 。 


1. 创 建 块 设备 Cinder 流 程 


创建 块 设备 支持 从 快照 恢复 出 块 设备 ， 其 代码 如 下 : 


API URL 

: POST http:// localhost:8774/v1l.1/(tenant id)/os-volumes 
Request parameters dl 

Parameter Description 

tenant id The unique identifier of the tenant or account. 
volume id The unique identifier for a volume. 

Volume A partial representation of a volume that is used to create a volume. 
Create Volume Request: JSON 

{ 

"volume": { 

"display_name": "vol-001", 

"display description": "Another volume. ", 

"size": 30, 

"volume type": "289da7f8-6440-407c-9fb4-'7db01ec49164", 
"metadata": ("contents": "junk"], 

"availability zone": "us-eastl" 


} 


Create Volume Response: JSON 

{ 

"volume": { 

"id": "521752a6-acf6-4b2d-bc7a-119f9148cd8c", 
"display_name": "vol-001", 

"display description": "Another volume.", 

"size": 30, 

"volume type": "289da7f8-6440-407c-9fb4-7db01ec49164", 


"metadata": ["contents": "junk"], 
"availability zone": "us-eastl", 
"snapshot id": null, 
"attachments": [] 


r 
"created_at": "2012-02-14T20:53:072Z" 

} 

} 

# nova\api\openstack\compute\contrib\volumes.py: 
VolumeController.create() 

QGwsgi.serializers (xml-VolumeTemplate) 
Qwsgi.deserializers (xml-CreateDeserializer) 

def create(self, req, body): 

"""Creates a new volume.""" 

context = req.environ['nova.context'] 

authorize (context) 

if not self.is valid body (body, 'volume'): 
raise exc.HTTPUnprocessableEntity () 

vol = body['volume'] 


1 

卷 类 型 ， 暂 时 不 支持 ， 参 数 不 传 入 即 可 

vol type = vol.get('volume type', None) 

if vol type: 

try: 一 

vol type = volume types.get volume type by name (context, 
vol type) = É i Yr 

except exception.NotFound: 

raise exc.HTTPNotFound() 

metadata = vol.get('metadata', None) 


# 

as TS 传 入 要 被 恢复 的 快照 ID 
nE 

snapshot id = vol.get('snapshot id') 
if snapshot id is not None: 


# 

从 快照 恢复 云 硬盘 需 要 实现 如 下 方法 ，self.volume_api 

下 面 会 有 说 明 

snapshot = self.volume api.get snapshot (context, snapshot id) 
else: 

snapshot = None 

size = vol.get('size', None) 

if size is None and snapshot is not None: 

size = snapshot['volume size'] 

LOG.audit( ("Create volume of $s GB"), size, context-context) 


A 本 
卷 RZ 


信息 
availability zone = vol.get('availability zone', None) 


云 硬 盘 需 要 实现 如 下 方法 ，self.volume api 

下 面 会 有 说 明 p 

new volume = self.volume api.create (context, 

size, T 

vol.get ('display_name'), 

vol.get('display description'), 

snapshot-snapshot, 

volume type-vol type, 

metadata-metadata, 

availability zone-availability zone 

) 

4 TODO(vish): Instance should be None at db layer instead of 
# trying to lazy load, but for now we turn it into 
# a dict to avoid an error. 


retval = translate volume detail view(context, dict(new volume)) 
result = ('volume': retval} 
location = '$s/$s' $ (req.url, new volume['id']) 


return wsgi.ResponseObject (result, headers-dict (location-location)) 
# self.volume api 

说 明 Mi 

self.volume api = volume.API() 

fvolume 

是 from nova import volume 

导入 的 

# novawolumeN init .py: 

def API() : 

importutils = nova.openstack.common.importutils 

cls = importutils.import class (nova.flags.FLAGS.volume api class) 
return cls() T iiu 


可 以 看 到 ，self,volume_api 调 用 的 所 有 方法 都 是 由 配置 项 volume_api_class 决 定 的 ， 默 认 配 置 使 用 nova-volume 的 AP|l 封 装 类 ， 其 代码 如 下 : 


cfg.StrOpt('volume api class', 
default-'nova.volume.api.API', 
help-'The full class name of the volume API class to use'), 


也 可 以 改 用 Cinder 的 API 封 装 类 ， 只 要 把 配置 改 为 volume_api_class=nova.volume.cinder.API 即 可 ，Cinder API 封 装 类 调用 封装 了 创建 卷 方法 的 cinder_client 库 来 调用 到 Cinder 的 APl， 云 硬盘 可 以 实 
现 一 个 类 似 的 client 库 ， 也 可 以 直接 调用 已 有 的 API 来 实现 相同 的 动作 (cinder_client 库 也 是 对 Cinder API 调 用 的 封装 ) 。 云 硬盘 可 以 参考 nova\volume\cinder.py 开 发 自己 的 API 封 装 类 ， 供 NVS 使 用 。API 
已 经 开发 完成 ， 只 需 封 装 API 即 可 ， 工 作 量 应 该 不 是 很 大 ， 需 要 注意 的 应 该 是 认证 问题 。 


快照 相关 操作 及 查询 与 上 述 流程 没有 区 别 ， 只 要 参考 nova\volume\cinder.py 即 可 实现 。 


2. 挂 载 块 设备 Cinder 流 程 
挂 载 块 设备 Cinder 流 程 见 下 面 的 代码 : 


API URL 

: POST 

http:// localhost:8774/v2/(tenant id)/servers/(server id)/os-volume attachments 
Request parameters B B B 

Parameter Description 

tenant id The ID for the tenant or account in a multi-tenancy cloud. 

server id The UUID for the server of interest to you. 

volumeId ID of the volume to attach. 

device Name of the device e.g. /dev/vdb. Use "auto" for autoassign (if supported). 
volumeAttachment A dictionary representation of a volume attachment. 

Attach Volume to Server Request: JSON 

{ 

'volumeAttachment': { 

'volumeId': volume id, 

'device': device 


} 
} 
Attach Volume to Server Response: JSON 


{ 

"volumeAttachment": { 

"device": "/dev/vdd", 

"serverlId": "fd783058-0e27-48b0-b102-a6b484057cac", 
"id": "5f800cf0-324f-4234-bc6b-e12d5816e962", 
"volumeId": "5f800cf0-324f-4234-bc6b-e12d5816e962" 
} 

} 


注意 ， 这 个 API 返 回 是 同步 的 ， 但 挂 载 卷 到 虚拟 机 是 异步 的 。 


# novaNapiVopenstackNcomputeNcontribWolumes.py: 
VolumeAttachmentController.create () 

@wsgi.serializers (xml-VolumeAttachmentTemplate) 

def create (self, req, server id, body): 

"""Attach a volume to an instance.""" 

context = req.environ['nova.context'] 

authorize (context) 

if not self.is valid body (body, 'volumeAttachment'): 

raise exc.HTTPUnprocessableEntity () 

volume id = body['volumeAttachment']['volumeId'] 

device - body ['volumeAttachment'].get ('device') 

msg = ("Attach volume $(volume id)s to instance $(server id)s" 

" at $(device)s") $ locals() e = 
LOG.audit (msg, context=context) 

try: 

instance = self.compute api.get(context, server id) 

# nova-compute dl m 

负责 挂 载 卷 到 虚拟 机 

device = self.compute api.attach volume(context, instance,volume id, device) 
except exception.NotFound: T T 
raise exc.HTTPNotFound|() 

# The attach is async 

attachment = {} 

attachment ['id'] = volume id 

attachment['serverId'] = server id 

attachment [ 'volumeId'] volume id 

attachment['device'] = device 一 

NOTE(justinsb): And now, we have a problemhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
The attach is async, so there's a window in which we don't see e 
the attachment (until the attachment completes). We could also 
get problems with concurrent requests. I think we need an 
attachment state, and to write to the DB here, but that's a bigger 
change. 

For now, we'll probably have to rely on libraries being smart 
TODO(justinsb): How do I return "accepted" here? 

return ('volumeAttachment': attachment] 

# novaNcomputeNapi.py:API.attach volume () 

Gwrap check policy T 

Gcheck instance lock 

def attach volume (self, context, instance, volume id, device-None): 
"""Attach an existing volume to an existing instance.""" 

# NOTE (vish): Fail fast if the device is not going to pass. This 

# will need to be removed along with the test if we 

# change the logic in the manager for what constitutes 


dE dede dE de de db de 


# a valid device. 

if device and not block device.match device (device): 
raise exception.InvalidDevicePath (path-device) 

# NOTE (vish): This is done on the compute host because we want 
# to avoid a race where two devices are requested at 

# the same time. When db access is removed from 

# compute, the bdm will be created here and we will 

# have to make sure that they are assigned atomically. 
device - self.compute rpcapi.reserve block device name( 
context, device-device, instance-instance) 

try: 

# 

云 硬 盘 需 要 实现 的 方法 ， 也 可 以 参考 nova\volume\cinder.py 
volume = self.volume api.get(context, volume id) 


t 
检测 卷 是 否 可 以 挂 载 


self.volume api.check attach (context, volume) 


t 

预 留 要 挂 载 的 卷 ， 防 止 并 发 挂 载 问题 

self.volume api.reserve volume(context, volume) 

# RPC Cast — " 

异步 调用 到 虚拟 机 所 在 的 宿主 机 的 nova-compute 

服务 进行 挂 载 

self.compute rpcapi.attach volume (context, instance-instance, 
volume id-volume id, mountpoint-device) 

except Exception: 

with excutils.save and reraise exception(): 

self.db.block device mapping destroy by instance and device( 
context, instance['uuid'], device) 

# API 

在 这 里 返回 

return device 

# novaNcomputeWnanager.py:ComputeManager.attach volume () 
Gexception.wrap exception (notifier-notifier, publisher id-publisher id()) 
Greverts task state T ze 
Gwrap instance fault 

def attach volume (self, context, volume id, mountpoint, instance): 
"""Attach a volume to an instance.""" 

try: 

return self. attach volume(context, volume id,mountpoint, instance) 
except Exception: ` H 

with excutils.save and reraise exception(): 

self.db.block device mapping destroy by instance and device( 
context, instance.get('uuid'), mountpoint) ADU x 

def attach volume(self, context, volume id, mountpoint, instance): 


# 

同上 面 的 volume_api.get 

方法 

volume = self.volume api.get(context, volume id) 

context = context.elevated() x 

LOG.audit( ('Attaching volume $(volume id)s to $(mountpoint)s'), 
locals(), context-econtext, instance-instance) 

try: 


# 
这 里 返回 的 是 initiator 
信息 ， 下 面 有 分 析 


connector = self.driver.get volume connector (instance) 


+ 

云 硬盘 需要 实现 的 方法 ， 下 面 有 Cinder 

的 具体 实现 

connection info = self.volume api.initialize connection(context, volume, connector) 
except Exception: # pylint: disable-W0702 ~ 

with excutils.save and reraise exception(): 


msg = ("Failed to connect to volume $(volume id)s " 

"while attaching at $ (mountpoint)s") 

LOG.exception (msg $ locals(), context-context, instance-instance) 
t 

这 个 方法 也 要 实现 


self.volume api.unreserve volume(context, volume) 

if 'serial' not in connection info: 

connection info['serial'] - volume id 

try: 

self.driver.attach volume (connection info,instance['name'],mountpoint) 
except Exception: # pylint: disable-W0702 
with excutils.save and reraise exception(): 
msg = ("Failed to attach volume $(volume id)s 
"at $ (mountpoint)s") 

LOG.exception (msg $ locals(), context-context, 
instance-instance) 

self.volume api.terminate connection (context, volume, connector) 


t 

这 个 方法 也 要 实现 ， 作 用 是 更 新 Cinder 

数据 库 中 卷 的 状态 

self.volume api.attach(context, volume, instance['uuid'], mountpoint) 
values = ( . 

'instance uuid': instance['uuid'], 

'connection info' : jsonutils.dumps (connection info), 

'device name': mountpoint, 

'delete on termination': False, 

'virtual name': None, 

'snapshot id': None, 

'volume id': volume id, 

'volume size': None, 

'no device': None) 

self.db.block device mapping update or create(context, values) 

# novawirtMibvirtNdriver.py:LibvirtDriver.get volume connector () 
def get volume connector(self, instance): 

if not self. initiator: 

self. initiator = libvirt utils.get iscsi initiator() 

if not self. initiator: 


LOG.warn (. ("Could not determine iscsi initiator name'),instance-instance) 
return ( 

'ip': FLAGS.my ip, # 

宿主 机 IP 

地 址 


'initiator': self. initiator, 
'host': FLAGS.host 4 
宿主 机 名 


# novawirtMlibvirtNutils.py:get iscsi initiator() 
def get iscsi initiator(): 

"""Get iscsi initiator name for this machine 
# NOTE (vish) openiscsi stores initiator name in a file that 

# needs root permission to read. 

contents = utils.read file as root('/etc/iscsi/initiatorname.iscsi') 
for 1 in contents.split('Mn'): 

if l.startswith('InitiatorName-'): 

return l[l.index('-2') + 1:].strip() 

# Nova 

中 Cinder API 

封装 实现 : 

4 novaNolumeNcinder.py:API.initialize connection(): 

def initialize connection(self, context, volume, connector): 

return cinderclient (context).N 

volumes.initialize connection (volume['id'], connector) 

t 

调用 的 是 cinder 

中 的 initialize_connection 

; ISCSI driver 

的 实现 如 下 : 

# cinder\volume\iscsi.py:LioAdm.initialize_connection () 

def initialize connection(self, volume, connector): 

volume iqn = volume [ 'provider location'].split(' ')[1] 

(auth method, auth user, auth pass) = X 

volume['provider auth'].split(' ', 3) 

# Add initiator iqns to target ACL 

try: 

self. execute('rtstool', 'add-initiator', 

volume iqn, 


auth user, 

auth pass, 

connector['initiator'], 

run as root-True) 

except exception.ProcessExecutionError as e: 


LOG.error( ("Failed to add initiator iqn $s to target") $connector['initiator']) 


raise exception.ISCSITargetAttachFailed (volume id-volume['id']) 

4 novaWirtMlibvirtNdriver.py:LibvirtDriver.attach volume () 
Gexception.wrap exception() T 

def attach volume(self, connection info, instance name, mountpoint): 
virt dom = self. lookup by name(instance name) i 

mount device = mountpoint.rpartition("/") [2] 


+ 

可 能 需要 改动 ， 下 面 会 分 析 这 个 方法 

conf = self.volume driver method('connect volume', 

connection info, mount device) y 

if FLAGS.libvirt type = 'lxc': 

self. attach lxc volume(conf.to xml(), virt dom, instance name) 
else: Dc 2 j^ a 
try: 


+ 

挂 载 到 虚拟 机 上 

virt dom.attachDevice (conf.to xml()) 

except Exception, ex: 

if isinstance(ex, libvirt.libvirtError): 

errcode - ex.get error code() 

if errcode 一 libvirt.VIR ERR OPERATION FAILED: 

self.volume driver method('disconnect volume', 

connection info, mount device) 

raise exception a DeviceIsBusy (device-mount device) 

with excutils.save and reraise exception(): 

self. volume driver method ( 'disconnect volume ',connection info, mount device) 
4 TODO(danms) once libvirt has support for LXC hotplug, 

# replace this re-define with use of the 

# VIR DOMAIN AFFECT LIVE & VIR DOMAIN AFFECT CONFIG flags with 
# attachDevice () 


t 

和 新 定义 ， 以 间接 实现 持久 化 的 挂 载 

domxml = virt dom.XMLDesc (libvirt.VIR DOMAIN XML SECURE) 

self. conn.defineXML (domxml) 

# novawirtMlibvirtNdriver.py:LibvirtDriver.volume driver method() 
def volume driver method(self, method name, connection info, 
*args, **kwargs): i 

driver type - connection info.get('driver volume type') 

if not driver type in self.volume driver: 
raise exception.VolumeDriverNotFound(driver type-driver type) 
driver = self.volume drivers[driver type] 

method = getattr(driver, method name) 

return method(connection info, *args, **kwargs) 

def init 0: E 


self.volume drivers = {} 

for driver str in FLAGS.libvirt volume drivers: 

driver type, sep, driver = driver str.partition('-') 
driver class = importutils.import class (driver) 
self.volume drivers[driver type] = driver class (self) 

# volume drivers i 

是 由 配置 项 libvirt volume drivers 

决定 的 ， 默 认 配 置 是 ; 网 

cfg.ListOpt('libvirt volume drivers', 

default-[ 
'iscsi-nova.virt.libvirt.volume.LibvirtlISCSIVolumeDriver', 
'localenova.virt.libvirt.volume.LibvirtVolumeDriver', 
'fake-nova.virt.libvirt.volume.LibvirtFakeVolumeDriver', 
'rbdenova.virt.libvirt.volume.LibvirtNetVolumeDriver', 
'sheepdog-nova.virt.libvirt.volume.LibvirtNetVolumeDriver' 
l; 

help='Libvirt handlers for remote volumes. '), 


云 硬盘 可 以 使 用 已 有 的 iSCSI driver， 也 可 以 参考 iSCSI 实现 自己 的 driver。iSCSI driver 的 内 容 如 下 : 


# novawirtMlibvirtWwolume.py:LibvirtlISCSIVolumeDriver: 

class LibvirtISCSIVolumeDriver (LibvirtVolumeDriver): 

"""Driver to attach Network volumes to libvirt.""" 

def run iscsiadm(self, iscsi properties, iscsi command, **kwargs): 
check exit code - kwargs.pop('check exit code', 0) 

(out, err) = utils.execute('iscsiadm', '-m', 'node', '-T', 

iscsi properties['target iqn'], 

'-p', iscsi properties['target portal'], 

*iscsi command, run as root-True, 

check exit code-check exit code) 

LOG.debug("iscsiadm $s: stdout-$s stderr-$s" $ 
(iscsi command, out, err)) 

return (out, err) 

def iscsiadm update (self, iscsi properties, property key, property value, 
**kwargs): 

iscsi command = ('--op', 'update', 
'-v', property value) 

return self. run iscsiadm(iscsi properties, iscsi command, **kwargs) 
Gutils.synchronized('connect volume!) 

def connect volume(self, connection info, mount device): 

"Attach the volume to instance name""" 

iscsi properties = connection info['data'] 

# NOTE (vish): If we are on the same host as nova volume, the 

# discovery makes the target so we don't need to 

# run --op new. Therefore, we check to see if the 
# 
# 


' 


-n', property key, 


target exists, and if we get 255 (Not Found), then 
we run --op new. This will also happen if another 
# volume is using the same target. 
try: 
self. run iscsiadm(iscsi properties, ()) 
except exception.ProcessExecutionError as exc: 
# iscsiadm returns 21 for "No records found" after version 2.0-871 
if exc.exit code in [21, 255]: 
self. run iscsiadm(iscsi properties, ('--op', 'new')) 
else: 
raise 
if iscsi properties.get('auth method'): 
self. iscsiadm update(iscsi properties, 
"node.session.auth.authmethod", 
iscsi properties['auth method']) 
self. iscsiadm update(iscsi properties, 
"node.session.auth.username", 
iscsi properties['auth username']) 
self. iscsiadm update(iscsi properties, 
"node.session.auth.password", 
iscsi properties['auth password']) 
4 NOTE(vish): If we have another lun on the same target, we may 
# have a duplicate login 


self. run iscsiadm(iscsi properties, ("--login",), 

check exit code-[0, 255]) 

self. iscsiadm update (iscsi properties, "node.startup", "automatic") 
host device = ("/dev/disk/by-path/ip-$s-iscsi-$s-lun-$s" $ 


(iscsi properties['target portal'], 
iscsi properties['target iqn'], 
iscsi properties.get('target lun', 0))) 


# The /dev/disk/by-path/http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 


# TODO(justinsb): This retry-with-delay is a pattern, move to utils? 
tries = 0 

while not os.path.exists (host device): 

if tries >= FLAGS.num iscsi scan tries: 


raise exception.NovaException = ("iSCSI device not found at $s") 
$ (host device)) 
LOG.warn( ("ISCSI volume not yet found at: $(mount device)s. " 


"Will rescan & retry. Try number: $(tries)s") $ 
locals ()) 


node is not always present immediately 


# The rescan isn't documented as being necessary(?), but it helps 
self. run iscsiadm(iscsi properties, ("--rescan",)) 

tries = tries + 1 

if not os.path.exists (host device): 

time.sleep(tries ** 2) = 


if tries != 0: 

LOG.debug( ("Found iSCSI node %(mount_device)s " 
"(after $(tries)s rescans)") % 

locals()) 

connection info['data']['device path'] - host device 


sup = super(LibvirtISCSIVolumeDriver, self) 

return sup.connect volume (connection info, mount device) 
Gutils.synchronized('connect volume') 

def disconnect volume (self, connection info, mount device): 
"""Detach the volume from instance name""" 

sup = super (LibvirtISCSIVolumeDriver, self) 

sup.disconnect volume (connection info, mount device) 

iscsi properties = connection info['data'] 

# NOTE (vish): Only disconnect from the target if no luns from the 
# target are in use. 

device prefix = ("/dev/disk/by-path/ip-$s-iscsi-$s-lun-" $ 
(iscsi properties['target portal'], 

iscsi properties['target iqn'])) 

devices = self.connection.get all block devices () 


devices = [dev for dev in devices if dev.startswith (device prefix)] 
if not devices: 

self. iscsiadm update(iscsi properties, "node.startup", "manual", 
check exit code-[0, 255]) 

self. run iscsiadm(iscsi properties, ("--logout",), 
check exit code-[0, 255]) 

self. run iscsiadm(iscsi properties, ('--op', 'delete'), 


check exit code-[0, 21, 255]) 


9. 


pend 


这 样 就 实现 了 卷 挂 载 到 宿主 机 和 从 宿主 机 仓 载 这 两 种 方法 。 


.3 ”相关 代码 源 文件 


nova\volume\cinder.py 源 文件 ( 云 硬盘 需要 实现 的 方法 或 者 要 封装 的 API 都 在 里 面 ) 的 地 址 为 : https://github.com/openstack/nova/blob/stable/folsom/nova/volume/cinder.py。 


nova\virt\libvirt\volume.py 源 文件 ( 云 硬 盘 需 要 实现 的 driver 可 以 参考 这 个 文件 ) 的 地 址 为 : https://github.com/openstack/nova/blob/stable/folsom/nova/virt/libvirt/volume.py。 


以 下 是 该 文件 的 代码 片段 : 


# 

默认 的 driver 

映射 关系 ， 可 以 看 出 iscsI 

卷 使 用 的 是 LibvirtISCSIVolumeDriver 

cfg.ListOpt ('libvirt volume drivers', 

default=[ ui 7 
'iscsi-nova.virt.libvirt.volume.LibvirtISCSIVolumeDriver', 
'local-nova.virt.libvirt.volume.LibvirtVolumeDriver', 
'fake-nova.virt.libvirt.volume.LibvirtFakeVolumeDriver', 
'rbd-nova.virt.libvirt.volume.LibvirtNetVolumeDriver', 
'sheepdog-nova.virt.libvirt.volume.LibvirtNetVolumeDriver' 


, 
help='Libvirt handlers for remote volumes. '), 


Cinder 可 处 理 各 种 API 请 求 的 抽象 类 源 文件 ， 链 接地 址 为 : https://github.com/openstack/cinder/blob/master/cinder/volume/manager.py 


上 述 抽象 类 会 调用 不 同 的 driver 去 执行 实际 动作 ， 完 成 API 的 请 求 ， 其 中 iSCSI driver 源 文件 为 : 


# 

默认 的 volume driver 

是 使 用 LVM (Logical Volume Manager) 

volume manager opts-[ 

cfg.StrOpt('volume driver', 
default-'cinder.volume.drivers.lvm.LVMISCSIDriver', 
help-'Driver to use for volume creation'), 


] 


#< 
文件 所 在 位 置 : 
https://github.com/openstack/cinder/blob/master/cinder/volume/drivers/lvm.py#L304> 


它 继承 了 LVMVolumeDriver、driver.ISCSIDriver 两 个 类 ， 其 中 后 一 个 类 的 相关 代码 在 https://github.com/openstack/cinder/blob/master/cinder/volume/driver.py#L199 至 


https://github.com/openstack/cinder/blob/master/cinder/volume/driver.py#L339 中 。 


这 里 的 self.tgtadm 对 象 是 在 https://github.com/openstack/cinder/blob/master/cinder/volume/drivers/Ilvm.py#L321 所 示 代码 段 里 初始 化 的 ， 调 用 的 是 


https://github.com/openstack/cinder/blob/master/cinder/volume/iscsi.py#L460 里 的 方法 。 


iscsi_helper 默 认 使 用 tgtadm， 其 代码 如 下 : 


cfg.StrOpt('iscsi helper', 
default-'tgtadm', 
help-'iscsi target user-land tool to use'), 


9.1.4 ”使 用 Cinder 实 现 云 硬盘 需要 注意 的 问题 


如 果 想 使 用 Cinder 实 现 云 硬盘 ， 需 要 注意 : 


:之 前 云 硬盘 agent 实 现 的 错误 恢复 、 异 常 处 理 远 辑 需要 在 Nova 里 实现 。 


' 挂 载 点 在 云 主 机 内 外 看 到 的 不 一 致 问题 (因为 Nova 挂 载 动作 是 异步 的 ， 所 以 返回 给 用 户 的 是 libvirt 看 到 的 挂 载 点 ， 不 是 实际 虚拟 机 内 部 的 挂 载 点 。 可 以 考虑 通过 查询 卷 


“ 用 户 及 认证 问题 (之 前 云 硬盘 用 的 是 管理 平台 的 用 户 认证 逻辑 ， 如 果 改 为 使 用 Nova 接 口 ， 需 要 使 用 Keystone 的 用 户 认证 ， 不 知道 可 否 在 管理 平台 那 一 层 转 换 一 下 ) o 


总 的 来 说 ， 云 硬盘 需要 做 的 改动 应 该 不 大 ， 工 作 重 点 在 于 封装 已 有 的 APl， 提 供 client (参考 https://github.com/openstack/nova/blob/stable/folsom/nova/volume/cinder.py) 。 另 


外 ，driver (参考 https://github.com/openstack/nova/blob/stable/folsom/nova/virt/libvirt/volume.py) 里 要 实现 扩容 逻辑 ， 这 部 分 可 以 重用 agent 中 现 有 的 代码 。 


$8892: “Cinder 抉 存储 组 件 


息 接口 返回 最 终 的 挂 载 点 ) 。 


9.1 Cinder 交互 流程 


9.1.1 Nova 现 有 块 设备 操作 API 统 计 


Nova 已 经 支持 的 块 设备 API 可 以 参考 http://api.openstack.org/api-ref.html 中 Volume Attachments, Volume Extension to Compute 两 个 部 分 说 明 。 


(1) 操作 类 (所 有 删除 操作 都 是 异步 的 ， 需 要 用 户 自行 调用 查询 API 进 行 确认 ) 


1) 创建 块 设备 (包括 从 快照 恢复 出 块 设备 。 可 以 指定 块 设备 availability zone。 需 要 提供 用 户 ID) 。 


2) 删除 块 设备 (需要 提供 用 户 ID 和 块 设备 ID) 。 


3) 挂 载 块 设备 (需要 指定 用 户 ID、 云 主机 ID、 块 设备 ID) 。 


4) ERRE (需要 指定 用 户 ID、 云 主机 ID、 块 设备 ID) 。 


5) 给 块 设备 建 快照 (需要 提供 用 户 ID 和 块 设备 ID) 。 


6) 删除 快照 (需要 提供 用 户 ID 和 快照 ID) 。 


(2) 查询 类 


1) 列 出 云 主机 上 挂 载 的 块 设备 (需要 指定 用 户 ID 和 云 主 机 ID) 。 


2) 根据 云 主 机 1D 及 挂 载 在 其 上 的 块 设备 1D 查 询 挂 载 详细 信息 (需要 指定 用 户 ID、 云 主机 ID、 块 设备 ID) 。 


3) 查询 用 户 所 有 的 块 设备 (需要 提供 用 户 ID) 。 


4) 根据 块 设备 ID 查询 用 户 某 个 块 设备 的 详细 信息 (需要 提供 用 户 ID 和 块 设备 ID) 。 


5) 查询 用 户 所 有 的 块 设备 快照 (需要 提供 用 户 ID) 。 


6) 查询 用 户 所 有 的 块 设备 快照 详细 信息 (需要 提供 用 户 ID 和 快照 ID) 。 


9.1.2. ”Nova-Cinder 交 互 流程 分 析 


这 里 只 选择 两 个 比较 典型 的 交互 流程 进行 分 析 。 


1. 创 建 块 设备 Cinder 流 程 


创建 块 设备 支持 从 快照 恢复 出 块 设备 ， 其 代码 如 下 : 


API URL 

: POST http:// localhost:8774/v1.1/(tenant id}/os-volumes 
Request parameters 

Parameter Description 

tenant id The unique identifier of the tenant or account. 
volume id The unique identifier for a volume. 

Volume A partial representation of a volume that is used to create a volume. 
Create Volume Request: JSON 

{ 

"volume": { 

"display_name": "vol-001", 

"display_description": "Another volume.", 

"size": 30, 

"volume type": "289da7f8-6440-407c-9fb4-7db01ec49164", 
"metadata": ("contents": "junk"], 

"availability zone": "us-eastl" 

} 

} 

Create Volume Response: JSON 

{ 

"volume": { 

"id": "521752a6-acf6-4b2d-bc7a-119f9148cd8c", 

"display name": "vol-001", 

"display description": "Another volume.", 

"size": 30, 

"volume type": "289da7f8-6440-407c-9fb4-'7db01ec49164", 


"metadata": ("contents": "junk"], 
"availability zone": "us-eastl", 
"snapshot id": null, 
"attachments": [], 


"created at": "2012-02-14T20:53:072" 
} 


# nova\api\openstack\compute\contrib\volumes.py: 
VolumeController.create() 

Q&wsgi.serializers (xml-VolumeTemplate) 
Qwsgi.deserializers (xml-CreateDeserializer) 
def create(self, req, body): 

"""Creates a new volume.""" 

context = req.environ['nova.context'] 
authorize (context) 

if not self.is valid body(body, 'volume'): 
raise exc.HTTPUnprocessableEntity () 

vol = body['volume'] 


1 

卷 类 型 ， 暂 时 不 支持 ， 参 数 不 传 入 即 可 

vol type = vol.get('volume type', None) 

if vol type: T 

try: 

vol type = volume types.get volume type by name (context, 
vol type) 

except exception.NotFound: 

raise exc.HTTPNotFound|() 

metadata = vol.get('metadata', None) 


# 

dg RENS 传 入 要 被 恢复 的 快照 ID 
snapshot id = vol.get('snapshot id') 
if snapshot id is not None: 


# 

从 快照 恢复 云 硬盘 需要 实现 如 下 方法 ，self.volume_api 

下 面 会 有 说 明 

snapshot = self.volume api.get snapshot (context, snapshot id) 
else: 

snapshot = None 

size = vol.get('size', None) 


if size is None and snapshot is not None: 

size = snapshot['volume size'] 

LOG.audit( ("Create volume of $s GB"), size, context-context) 
卷 RZ 

信息 

availability zone = vol.get('availability zone', None) 
4 

云 硬盘 需要 实现 如 下 方法 ，self.volume_api 

下 面 会 有 说 明 

new volume = self.volume api.create (context, 

size, m 

vol.get('display name'), 

vol.get('display description'), 

snapshot-snapshot, 

volume type-vol type, 

metadata-metadata, 

availability zone-availability zone 

) 

# TODO(vish): Instance should be None at db layer instead of 
# trying to lazy load, but for now we turn it into 

# a dict to avoid an error. 


retval = translate volume detail view(context, dict(new volume)) 
result = ('volume': retval} 
location = '$s/$s' $ (req.url, new volume['id']) 


return wsgi.ResponseObject (result, ^ headers-dict (location-location)) 


# self.volume api 

说 明 s 

self.volume api = volume.API() 

#volume 

是 from nova import volume 

导入 的 

# novawolumeN init .py: 

def API(): 村 

importutils = nova.openstack.common.importutils 


cls = importutils.import class (nova.flags.FLAGS.volume api class) 


return cls() 


可 以 看 到 ，self.volume_api 调 用 的 所 有 方法 都 是 由 配置 项 volume_api_class 决 定 的， 默认 配置 使 


nova-volume 的 API 封 装 类 ， 其 代码 如 下 : 


cfg.StrOpt('volume api class', 
default-'nova.volume.api.API', 
help-'The full class name of the volume API class to use'), 


也 可 以 改 用 Cinder 的 API 封 装 类 ， 只 要 把 配置 改 为 volume_api_class=nova.volume.cinder.API 即 可 ，Cinder API 封 装 类 调 


现 一 个 类 似 的 client 库 ， 也 可 以 直接 调用 已 有 的 API 来 实现 相同 的 动作 (cinder client 库 也 是 对 Cinder API 调 用 的 封装 ) 。 云 硬盘 可 以 参考 nova\volume\cinder.py 开 发 


已 经 开发 完成 ， 只 需 封装 API 即 可 ， 工 作 量 应 该 不 是 很 大 ， 需 要 注意 的 应 该 是 认证 问题 。 


快照 相关 操作 及 查询 与 上 述 流程 没有 


2. 挂 载 块 设备 Cinder 流 程 


区 别 ， 只 要 参考 nova\volume\cinder.py 即 可 实现 。 


挂 载 块 设备 Cinder 流 程 见 下 面 的 代码 : 


封装 了 创建 卷 方法 的 cinder_client 库 来 调用 到 Cinder 的 AP1， 云 硬盘 可 以 实 


自己 的 API 封 装 类 ， 供 NVS 使 用 。API 


API URL 
: POST 


http:// localhost:8774/v2/(tenant id)/servers/([server id]/os-volume attachments 


Request parameters 
Parameter Description 


tenant id The ID for the tenant or account in a multi-tenancy cloud. 


server id The UUID for the server of interest to you. 
volumeId ID of the volume to attach. 


device Name of the device e.g. /dev/vdb. Use "auto" for autoassign (if supported). 
volumeAttachment A dictionary representation of a volume attachment. 


Attach Volume to Server Request: JSON 
1 

'volumeAttachment': ( 

'volumeId': volume id, 

'device': device 


} 


Attach Volume to Server Response: JSON 

{ 

"volumeAttachment": ( 

"/dev/vdd", 

: "fd783058-0e27-48b0-b102-a6b4d4057cac", 
"id": "5f800cf0-324f-4234-bc6b-e12d5816e962", 
"volumeId": "5f800cf0-324f-4234-bc6b-e12d5816e962" 
} 

} 


注意 ， 这 个 API 返 回 是 同步 的 ， 但 挂 载 卷 到 虚拟 机 是 异步 的 。 


# novaNapiVopenstackNcomputeNcontribWolumes.py: 
VolumeAttachmentController.create () 
@wsgi.serializers (xml-VolumeAttachmentTemplate) 
def create (self, req, server id, body): 
"""Attach a volume to an instance.""" 

context = req.environ['nova.context'] 

authorize (context) 

if not self.is valid body (body, 'volumeAttachment'): 
raise exc.HTTPUnprocessableEntity () 

volume id = body['volumeAttachment']['volumeId'] 
device = body['volumeAttachment'].get ('device') 


msg = ("Attach volume $(volume id)s to instance $(server id)s" 


at $(device)s") $ locals() 

LOG.audit (msg, context-context) 

try: 

instance = self.compute api.get(context, server id) 
# nova-compute B 


负责 挂 载 卷 到 虚拟 机 


device = self.compute api.attach volume (context, instance,volume id, device) 


except exception.NotFound: 
raise exc.HTTPNotFound|() 

# The attach is async 
attachment = {} 


attachment ['id'] = volume id 
attachment ['serverId'] = server id 
attachment['volumeId'] = volume id 


attachment['device'] = device 


# 

# The attach is async, so there's a window in which we don't see 

# the attachment (until the attachment completes). We could also 

# get problems with concurrent requests. I think we need an 

# attachment state, and to write to the DB here, but that's a bigger 
# change. 

# For now, we'll probably have to rely on libraries being smart 

# TODO(justinsb): How do I return "accepted" here? 


return ('volumeAttachment': attachment] 


# 


nova\compute\api.py:API.attach_volume () 


@wrap check policy 
Gcheck instance lock 


NOTE(justinsb): And now, we have a problemhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 


def attach volume(self, context, instance, volume id, device-None): 
"""Attach an existing volume to an existing instance.""" 

# NOTE(vish): Fail fast if the device is not going to pass. This 
# will need to be removed along with the test if we 

# change the logic in the manager for what constitutes 

# a valid device. 

if device and not block device.match device (device): 

raise exception.InvalidDevicePath (path-device) 

4 NOTE (vish): This is done on the compute host because we want 

# to avoid a race where two devices are requested at 

# the same time. When db access is removed from 

# compute, the bdm will be created here and we will 

# have to make sure that they are assigned atomically. 

device = self.compute rpcapi.reserve block device name( 

context, device-device, instance-instance) 

try: 


t 
云 硬盘 需要 实现 的 方法 ， 也 可 以 参考 nova\volume\cingder.py 
dole = self.volume api.get(context, volume id) 


kuse 是 否 可 以 挂 载 


self.volume api.check attach (context, volume) 


t 

预 留 要 挂 载 的 卷 ， 防 止 并 发 挂 载 问题 

self. (onde | api.reserve volume(context, volume) 

4 RPC C. 

异步 调用 到 号 拟 机 所 在 的 宿主 机 的 aova_ compute 

服务 进行 挂 载 

self. compute : rpcapi.attach | volume (context, instance-instance, 
volume id-volume id, mountpoint-device) 

except | Exception: 

with excutils.save and reraise exception(): 

self.db.block device | mapping destroy by instance and device( 
context, instance['uuid'], device) 

# API 

在 这 里 返回 

return device 

# novaNcomputeWnanager.py:ComputeManager.attach volume () 
Gexception.wrap exception (notifier-notifier, publisher id-publisher id() ) 
Greverts task state 

Gwrap instance fault 

def attach volume(self, context, volume id, mountpoint, instance): 
"""Attach a volume to an instance.""" T 

try: 

return self. attach volume(context, volume id,mountpoint, instance) 
except Exception: ` i 

with excutils.save and reraise exception(): 

self.db.block device mapping destroy by instance and device( 
context, instance. get('uuid'), mountpoint) 

Fu .attach volume(self, context, volume id, mountpoint, instance): 


有 上 面 的 volune | api.get 

方法 

volume = self.volume api.get(context, volume id) 

context = context.elevated() 

LOG.audit( ('Attaching volume $(volume id)s to $(mountpoint)s'), 
locals(), Context-context, instance-instance) 

try: 

t 

这 里 返回 的 是 initiator 

信息 ， 下 面 有 分 析 


connector = self.driver.get volume connector (instance) 


# 

云 硬盘 需要 实现 的 方法 ， 下 面 有 Cinder 

的 具体 实现 

Connection info = self.volume | api. initialize | connection (context, volume, connector) 
except Exception: # pylint: disable-W0702 

with excutils.save and reraise exception(): 


msg = ("Failed to connect to volume *$(volume id)s " 

"while attaching at $ (mountpoint)s") 

LOG.exception (msg $ locals(), context-context, instance-instance) 
t 

这 个 方法 也 要 实现 


self.volume api.unreserve volume(context, volume) 

if 'serial' not in connection info: 

connection info['serial'] - volume id 

try: 

self.driver.attach volume (connection info, instance['name'],mountpoint) 
except Exception: # pylint: disable-W0702 

with excutils.save and reraise exception(): 

msg = ("Failed to attach volume $(volume id)s 

"at $ (mountpoint)s") 7 

LOG.exception (msg $ locals(), context-context, 
instance-instance) 

self.volume api.terminate connection (context, volume, connector) 


t 

这 个 方法 也 要 实现 ， 作 用 是 更 新 Cinder 

数据 库 中 卷 的 状态 

self.volume api.attach(context, volume, instance['uuid'], mountpoint) 
values = ( 

'instance uuid': instance['uuid'!], 

'connection info' : jsonutils.dumps (connection info), 

'device name': mountpoint, 

'delete on termination': False, 

'virtual name': None, 

'snapshot id': None, 

'volume id volume id, 

'volume size': None, 

'no device': None) 

self.db.block device mapping update or create(context, values) 

# novawirtMibvirtNdriver.py:LibvirtDriver.get volume connector () 
def get volume connector(self, instance): 

if not self. initiator: 

self. initiator - libvirt utils.get iscsi initiator() 

if not self. initiator: ` E m 


LOG.warn( ('Could not determine iscsi initiator name'),instance-instance) 
return ( .— 

'ip': FLAGS.my ip, # 

宿主 机 IP 

地 址 


'initiator': self. initiator, 
'host': FLAGS.host 4 
宿主 机 名 


# novawirtMlibvirtNutils.py:get iscsi initiator() 
def get iscsi initiator(): 

"""Get iscsi initiator name for this machine 
# NOTE (vish) openiscsi stores initiator name in a file that 

# needs root permission to read. 

contents = utils.read file as -root( '/etc/iscsi/initiatorname.iscsi') 
for 1 in contents.split('Wn') 

TE. Es et ys 

return l[l.index('2') + 1:].strip() 

# Nova 

中 Cinder API 

封装 实现 : 

# novaWolumeNcinder.py:API.initialize connection(): 

def initialize connection (self, context, volume, connector): 

return cinderclient (context) .\ 

volumes.initialize connection (volume['id'], connector) 


t 

调用 的 是 cinder 

中 的 initialize_connection 

; ISCSI driver 

的 实现 如 下 : 

# cinderWolumeMiscsi.py:LioAdm.initialize connection() 
def initialize connection(self, volume, connector): 
volume ign = volume['provider location'].split(' ')[1] 
(auth method, auth user, auth pass) = V 


volume['provider auth'].split(' ', 3) 

# Add initiator iqns to target ACL 

try: 

self. execute('rtstool', 'add-initiator', 

volume iqn, 

auth user, 

auth pass, 

connector['initiator'], 

run as root-True) 

except exception.ProcessExecutionError as e: 

LOG.error( ("Failed to add initiator iqn $s to target") $connector['initiator']) 
raise exception. ISCSITargetAttachFailed (volume id-volume['id']) 

4 novaWwirtMlibvirtNdriver.py:LibvirtDriver.attach volume () 
Gexception.wrap exception() E 

def attach volume(self, connection info, instance name, mountpoint): 
virt dom = self. lookup by name (instance name) z 

mount device = mountpoint.rpartition("/") [2] 


可 能 需要 改动 ， 下 面 会 分 析 这 个 方法 
conf = self.volume driver method('connect volume', 
connection info, mount device) 


if FLAGS.libvirt type == 'lxc': 

self. attach lxc volume (conf.to xml 0, virt dom, instance name) 
else: 

try: 


t 

挂 载 到 虚拟 机 上 

virt dom.attachDevice (conf.to xml()) 

except Exception, ex: 

if isinstance(ex, libvirt.libvirtError): 

errcode - ex.get error code() 

if errcode 一 libvirt.VIR ERR OPERATION FAILED: 

self.volume driver method('disconnect volume', 

connection info, mount device) TY 

raise exception š DeviceIsBusy (device-mount device) 

with excutils.save and reraise exception(): 

self. volume driver method ( 'disconnect volume ',connection info, mount device) 
4 TODO(danms) once libvirt has support for LXC hotplug, 

# replace this re-define with use of the 

4 VIR DOMAIN AFFECT LIVE & VIR DOMAIN AFFECT CONFIG flags with 
4 attachDevice() dd m ni E 


重新 定义 ， 以 间接 实现 持久 化 的 挂 载 

domxml = virt dom.XMLDesc (libvirt.VIR DOMAIN XML SECURE) 
self. conn.defineXML (domxml) 

# novawirtMibvirtNdriver.py:LibvirtDriver.volume driver method() 
def volume driver method(self, method name, connection info, 
*args, **kwargs): zi 
driver type - connection info.get('driver volume type') 

if not driver type in self.volume drivers: u 

raise exception.VolumeDriverNotFound(driver type-driver type) 
driver = self.volume drivers[driver type] 

method = getattr(driver, method name) 

return method(connection info, *args, **kwargs) 

def init 0: P^ 


self.volume drivers = {} 

for driver str in FLAGS.libvirt volume drivers: 

driver type, sep, driver = driver str.partition('-') 
driver class = importutils.import class (driver) 
self.volume drivers[driver type] = driver class (self) 

# volume drivers zi i 

是 由 配置 项 libvirt volume drivers 

决定 的 ， 默 认 配 置 是 : 

cfg.ListOpt('libvirt volume drivers', 

default-[ 0 
'iscsi-nova.virt.libvirt.volume.LibvirtISCSIVolumeDriver', 
'localenova.virt.libvirt.volume.LibvirtVolumeDriver', 
'fake-nova.virt.libvirt.volume.LibvirtFakeVolumeDriver', 
'rbdenova.virt.libvirt.volume.LibvirtNetVolumeDriver', 
'sheepdog-nova.virt.libvirt.volume.LibvirtNetVolumeDriver' 


r 
help='Libvirt handlers for remote volumes.'), 


云 硬盘 可 以 使 用 已 有 的 iSCSI driver， 也 可 以 参考 iSCSI 实现 自己 的 driver。iSCSI driver 的 内 容 如 下 : 


# nova\virt\libvirt\volume.py:LibvirtISCSIVolumeDriver: 
class LibvirtISCSIVolumeDriver (LibvirtVolumeDriv H 
"""Driver to attach Network volumes to libvirt." 
def run iscsiadm(self, iscsi properties, iscsi command, **kwargs): 
check exit code - kwargs.pop('check exit code', 0) 

(out, err) = utils.execute('iscsiadm', '-m', 'node', '-T', 

iscsi properties['target iqn'], 

'-p', iscsi properties['target portal'], 

*iscsi command, run as root-True, 

check exit code-check exit code) 

LOG.debug("iscsiadm $s: stdout-$s stderr-$s" $ 
(iscsi command, out, err)) 

return (out, err) 

def iscsiadm update (self, iscsi properties, property key, property value, 
**kwargs): 

iscsi command - ('--op', 'update', '-n', property key, 

'-v', property value) 

return self. run iscsiadm(iscsi properties, iscsi command, **kwargs) 
Gutils.synchronized('connect volume!) 

def connect volume(self, connection info, mount device): 

"""Attach the volume to instance name""" S 

iscsi properties = connection info['data'] 

# NOTE (vish): If we are on the same host as nova volume, the 

# discovery makes the target so we don't need to 

# run --op new. Therefore, we check to see if the 
+ 
+ 


target exists, and if we get 255 (Not Found), then 
we run --op new. This will also happen if another 
# volume is using the same target. 
try: 
self. run iscsiadm(iscsi properties, ()) 
except exception.ProcessExecutionError as exc: 
# iscsiadm returns 21 for "No records found" after version 2.0-871 
if exc.exit code in [21, 255]: 
self. run iscsiadm(iscsi properties, ('--op', 'new')) 
else: 
raise 
if iscsi properties.get('auth method'): 
self. iscsiadm update (iscsi properties, 
"node.session.auth.authmethod", 
iscsi properties['auth method']) 
self. iscsiadm update(iscsi properties, 
"node.session.auth.username", 
iscsi properties['auth username']) 
self. iscsiadm update(iscsi properties, 
"node.session.auth.password", 
iscsi properties['auth password']) 
# NOTE (vish): If we have another lun on the same target, we may 
# have a duplicate login 


self. run iscsiadm(iscsi properties, ("--login",), 

check exit code-[0, 255]) 

self. iscsiadm update (iscsi properties, "node.startup", "automatic") 
host device = ("/dev/disk/by-path/ip-$s-iscsi-$s-lun-$s" $ 


(iscsi properties['target portal'], 

iscsi properties['target iqn'], 

iscsi properties.get('target lun', 0))) 

# The /dev/disk/by-path/http: / /www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... node is not always present immediately 
# TODO(justinsb): This retry-with-delay is a pattern, move to utils? i 

tries = 0 

while not os.path.exists (host device): 

if tries »- FLAGS.num iscsi scan tries: 


raise exception.NovaException( ("iSCSI device not found at $s") 
$ (host device)) B 

LOG.warn( ("ISCSI volume not yet found at: $ (mount device)s. 
"Will rescan & retry. Try number: $(tries)s") $ 

locals()) 

# The rescan isn't documented as being necessary(?), but it helps 
self. run iscsiadm(iscsi properties, ("--rescan",)) 

tries = tries + 1 

if not os.path.exists (host device): 

time.sleep(tries ** 2) 


if tries !- 0: 

LOG.debug( ("Found iSCSI node $ (mount device)s " 
"(after $(tries)s rescans)") % 

locals ()) 

connection info['data']['device path'] - host device 


sup = super(LibvirtISCSIVolumeDriver, self) 

return sup.connect volume (connection info, mount device) 
Gutils.synchronized('connect volume') F^ 

def disconnect volume (self, connection info, mount device): 
"""Detach the volume from instance name""" 

sup = super (LibvirtISCSIVolumeDriver, self) 

sup.disconnect volume (connection info, mount device) 

iscsi properties = connection info['data'] 7 

# NOTE (vish): Only disconnect from the target if no luns from the 
# target are in use. 

device prefix = ("/dev/disk/by-path/ip-$s-iscsi-$s-lun-" $ 
(iscsi properties ['target portal'], 

iscsi properties['target iqn'])) 

devices = self.connection.get all block devices () 


devices = [dev for dev in devices if dev.startswith (device prefix)] 
if not devices: 

self. iscsiadm update(iscsi properties, "node.startup", "manual", 
check exit code-[0, 255]) 

self. run iscsiadm(iscsi properties, ("--logout",), 
check exit code-[0, 255]) 

self. run iscsiadm(iscsi properties, ('--op', 'delete'), 


check exit code-[0, 21, 255]) 


这 样 就 实现 了 卷 挂 载 到 宿主 机 和 从 宿主 机 卸载 这 两 种 方法 。 


9.1.3 ”相关 代码 源 文件 
nova\volume\cinder.py 源 文件 ( 云 硬盘 需要 实现 的 方法 或 者 要 封装 的 API 都 在 里 面 ) 的 地 址 为 : https://github.com/openstack/nova/blob/stable/folsom/nova/volume/cinder.py。 
nova\virt\libvirt\volume.py 源 文件 ( 云 硬盘 需要 实现 的 driver 可 以 参考 这 个 文件 ) 的 地 址 为 : https://github.com/openstack/nova/blob/stable/folsom/nova/virt/libvirt/volume.py。 


以 下 是 该 文件 的 代码 片段 : 


# 
默认 的 driver 

射 关系 ， 可 以 看 出 1SCSI 
卷 使 用 的 是 LibvirtISCSIVolumeDriver 
cfg.ListOpt('libvirt volume drivers', 
default-[ T 5 
'iscsi-nova.virt.libvirt.volume.LibvirtISCSIVolumeDriver', 
'local-nova.virt.libvirt.volume.LibvirtVolumeDriver', 
'fake-nova.virt.libvirt.volume.LibvirtFakeVolumeDriver', 
'rbd-enova.virt.libvirt.volume.LibvirtNetVolumeDriver', 
'sheepdog-nova.virt.libvirt.volume.LibvirtNetVolumeDriver 
l; 


help='Libvirt handlers for remote volumes. '), 


' 


Cinder 可 处 理 各 种 API 请 求 的 抽象 类 源 文件 ， 链 接地 址 为 : https;//github.com/openstack/cinder/blob/master/cinder/volume/manager.py 


上 述 抽象 类 会 调用 不 同 的 driver 去 执行 实际 动作 ， 完 成 API 的 请 求 ， 其 中 iSCSI driver 源 文件 为 : 


# 

默认 的 volume driver 

是 使 用 LVM(Logical Volume Manager) 

volume manager opts-[ 

cfg.StrOpt('volume driver', 
default-'cinder.volume.drivers.lvm.LVMISCSIDriver', 
help-'Driver to use for volume creation'), 


] 


#< 
文件 所 在 位 置 : 
https://github.com/openstack/cinder/blob/master/cinder/volume/drivers/lvm.py#L304> 


它 继承 了 LVMVolumeDriver、driver.ISCSIDriver 两 个 类 ， 其 中 后 一 个 类 的 相关 代码 在 https://github.com/openstack/cinder/blob/master/cinder/volume/driver.py#L199 至 
https://github.com/openstack/cinder/blob/master/cinder/volume/driver.py#L339 中 。 


这 里 的 self.tgtadm 对 象 是 在 https://github.com/openstack/cinder/blob/master/cinder/volume/drivers/Ilvm.py#L321 所 示 代 码 段 里 初始 化 的 ， 调 用 的 是 
https://github.com/openstack/cinder/blob/master/cinder/volume/iscsi.py#L460 里 的 方法 。 


iscsi_helper 默 认 使 用 tgtadm， 其 代码 如 下 : 


cfg.StrOpt('iscsi helper', 
default-'tgtadm', 
help-'iscsi target user-land tool to use'), 


9.1.4 ”使 用 Cinder 实 现 云 硬盘 需要 注意 的 问题 


如 果 想 使 用 Cinder 实 现 云 硬盘 ， 需 要 注意 : 


: 之 前 云 硬盘 agent 实 现 的 错误 恢复 、 异 常 处 理 逻 辑 需要 在 Nova 里 实现 。 
“ 挂 载 点 在 云 主 机 内 外 看 到 的 不 一 致 问题 (因为 Nova 挂 载 动 作 是 异步 的 ， 所 以 返回 给 用 户 的 是 libvirt 看 到 的 挂 载 点 ， 不 是 实际 虚拟 机 内 部 的 挂 载 点 。 可 以 考虑 通过 查询 卷 信息 接口 返回 最 终 的 挂 载 点 ) 。 


“ 用 户 及 认证 问题 (之 前 云 硬盘 用 的 是 管理 平台 的 用 户 认证 逻辑 ， 如 果 改 为 使 用 Nova 接 口 ， 需 要 使 用 Keystone 的 用 户 认证 ， 不 知道 可 否 在 管理 平台 那 一 层 转 换 一 下 ) 。 


总 的 来 说 ， 云 硬盘 需要 做 的 改动 应 该 不 大 ， 工 作 重 点 在 于 封装 已 有 的 AP1， 提 供 client (参考 https://github.com/openstack/nova/blob/stable/folsom/nova/volume/cinder.py) 。 另 
外 ，driver (&https://github.com/openstack/nova/blob/stable/folsom/nova/virt/libvirt/volume.py) 里 要 实现 扩容 逻辑 ， 这 部 分 可 以 重用 agent 中 现 有 的 代码 。 


9.2 ”配置 从 Volume 启 动 虚拟 机 


在 传统 的 企业 计算 环境 中 ， 
机 实例 以 此 卷 为 启动 盘 来 进行 启动 。 


具体 的 步骤 如 下 。 


m 


选 定 一 个 需要 创建 启动 卷 的 镜像 模板 。 


nova image-list 列 出 当前 可 用 的 镜像 模板 ， 如 下 : 


| Status | Server | 
十 


e0b7734dq-2331-42a3- bores 067adc0dal7d 


| 

| cirros-0.3.1-x86 64-uec | ACTIVE | | 

| 75bf193b-237b-435e-8712-896c51484de9 

| cirros-0.3.1-x86 64-uec-kernel | ACTIVE | | 
| 19eee81c-f972-44e1-a952-1ldceee148c47 | 

| cirros-0.3.1-x86 | DE uec-ramdisk f REUS | | 

十 ~ 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 4-------- 十 


有 一 些 物理 机 或 虚拟 机 的 启动 盘 不 在 本 地 ， 而 是 配置 成 从 SAN 网 络 中 启动 (Boot from SAN) . 


在 Openstack 里 ， 也 可 以 创建 一 个 可 启动 卷 (bootable volume) ， 让 虚拟 


3) 找到 该 模板 的 ID， 并 将 该 镜像 模板 关联 到 新 创建 的 卷 ， 其 代码 如 下 : 


# cinder create --image-id e0b7734d-2331-42a3-b19e-067adc0dal7d 
--display-name my-boot- vol 8 
n 


和 全 4 
Property Value 
4------------------------ 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
attachments H 
availability zone nova 
bootable false 
created at 2013-10-16T01:27:48.645390 
display description None 
display name my-boot-vol 
id 3195a5a'7-fd0d-4ac3-b919-7ba6cbelld46 
image id €0b7734d-2331-42a3-b19e-067adc0dal7d 
metadata {} 
size 8 
snapshot id None 
source volid None 
status creating 
volume type None 
4------------------------ 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
十 
注意 ， 在 卷 创 建 完 成 之 前 ， 可 启动 (bootable) 的 属性 仍然 是 false。 
4) 查看 刚刚 创建 的 卷 。 
$ cinder list 代 码 如 下 : 
十 = 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 -一 一 一 -一 -一 一 十 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 +=- 
----------- 十 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
| ID | Status | Display Name | Size | 
vorme Type | Bootable | Attached to | 
一 二 一 4------ 4-- 
| 3195a5a7- taoa- 4ac3 Pop e oe | available | my-boot-vol | 8 | 
None | true | 
4 十 一- 一 一 一 -一 -一 -一 十 一 一 一 一 -一 -一 -一 -一 -一 -一 4------ 4-- 
----------- 十 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 
现在 可 以 发 现 bootable 属 性 已 经 是 true 了 。 记 住 刚刚 创建 的 卷 的 ID。 
5) 启动 一 个 虚拟 机 实例 ， 并 包含 --block_device_mapping 参 数 ， 其 代码 如 下 : 
$ nova boot --flavor FLAVOR --block device mapping 
DEVNAME-ID:TYPE:SIZE:DELETE ON ' TERMINATE NAME 
--block_device_mapping 参 数 的 说 明 见 表 9-1。 
表 9-1  --block_device_mapping 参 数 说 明 


2 H 
--flavor FLAVOR 模板 ID 
DEVNAME : 
为 /dev/dev name, 
ID: 启动 f9 1D, 出 就 是 
--block device mapping 日 动 着 


TYPE: “snap” sk H 
DEVNAME-ID:TYPE:SIZE:DELETE- 
照 中 创建 的 


也 可 以 是 空 F 


说 BR 


当 该 卷 attach 到 虚拟 机 上 时 ， 此 卷 在 虚拟 机 中 的 设备 名 
一 般 其 默 名 是 vda 


人 
Hán 


看 到 的 值 
snap 表示 该 卷 是 从 一 个 快 


" nova volume-list " 


ee SIZE. 卷 的 大 小 (单位 是 GB)。 可 以 不 填 ， 让 计算 服务 自动 预测 大 小 
DELETE-ON-TERMINATE. : 布 AB 表示 删除 虚拟 机 实例 时 也 自动 
删除 此 卷 。 其 值 可 以 True 或 False， 也 可 以 是 1 或 0 
NAME 创建 的 虚拟 机 的 名 字 


Qus 当 从 启动 卷 启动 时 ， 必 须 指定 一 个 镜像 ， 即 便 该 镜像 并 不 存在 ， 否 则 会 报 “no image supplied" 4X. 


此 外 ， 可 以 在 启动 虚拟 机 时 通过 --swap 参 数 指定 


交换 盘 ， 还 可 以 使 用 --ephemeral 参 数 挂 载 额外 的 卷 作为 数据 盘 。 示 例 代 码 如 下 : 


$ nova boot --flavor 2 --ima 
e0b77344-2331-42a3-b19e- 067adc0da17d N 
--block device mapping 
vda-3195a5a7-£d0d-4ac3-b919- 人 :0 myInstanceFromVolume 


十 = 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 

Property T elus 
+------------------------------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 

OS-EXT-STS:task state scheduling 

image cirros-0.3.1-x86 64-uec 

OS-EXT-STS:vm state building ji 

OS-EXT-SRV-ATTR:instance name instance-00000003 

flavor | ml.small | 

id 8edab0fo- 70de-4662-a16c-0b51ce7b17b4 

security_groups [{u'name': u'default'}] 

user_id 352b37£5c89144d4ad0534139266d51f 

OS-DCF:diskConfig | MANUAL 

accessIPv4 

accessIPv6 

progress 0 

OS-EXT-STS:power state 0 

OS-EXT-AZ:availability zone nova 

config drive T l 

status BUILD 

updated 2013-10-16T01:43:262 

hostId 

OS-EXT-SRV-ATTR:host None 

key name None 

OS-EXT-SRV-ATTR:hypervisor hostname | None 

name n myInstanceFromVolume 

adminPass BULD33uzYwhq 

tenant id f7ac731ccl1f40efbc03a9f9eldl1d21f 

created 2013-10-16T01:43:252 

metadata {} 
+------------------------------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


现在 看 一 下 新 创建 的 虚拟 机 ， 会 发 现 该 启动 盘 已 经 接 上 去 了 。 其 代码 如 下 : 


$ nova volume-list 


| ID 

4+- 
| 3195a5a7-fd0d-4ac3-b919-7ba6cbelld46 | in-use | my-boot-vol 18 | 
None | 8ed8b0f9-70de-4662-al6c-0b51ce7b17b4 | 


9.3 ”使 用 Ceph 作 为 Cinder 的 后 端 


在 Openstack 中 ，cinder-volume 支 持 多 种 不 同 的 后 端 存储 ， 有 商业 的 ， 如 EMC、HP、IBM、NetApp 等 存储 产品 ， 也 有 利用 开源 技术 实现 的 存储 ， 如 GlusterFS、NFS、Ceph、Sheepdog 等 。 在 


Cinder 内 ， 开 发 者 通过 开发 相应 的 驱动 来 实现 对 不 同 存储 后 端的 使 用 ， 其 中 有 些 存储 是 通过 iSCS 


Ceph 是 一 个 分 布 式 的 存储 系统 。Ceph 的 底层 是 RADOS (可 靠 、 自 动 、 分 布 式 对 象 存储 ) 


1， 有 些 则 是 通过 FC 连接 的 。 而 对 于 很 多 开源 的 分 布 式 存储 来 说 ， 它 们 都 各 自 使 用 不 同 的 协议 。 


， 可 以 通过 LIBRADOS 直 接 访问 RADOS 的 对 象 存 储 系统 。RBD ( 块 设备 接口 ) 、RADOS Gateway (对 象 存储 
接口 ) Ceph File System (POSIX 接 口 ) 都 是 基于 RADOS 的 。Ceph 很 早 就 对 OpenStack 提 供 
Gateway 和 Ceph File System 这 两 部 分 。 下 面 通过 简单 的 过 程 来 配置 cinder-volume 使 用 Ceph。 


了 很 好 的 支持 ，cinder-volume 可 以 使 用 Ceph Block Device 作 为 后 端 (通过 RBD 接 口 ) ， 并 不 需 : 


在 Openstack 中 使 用 Ceph， 必 须 先 创 建 一 个 可 用 的 Ceph 存 储 集群 ， 这 不 在 本 书 的 讨论 范围 


内 ， 读 者 可 以 自行 查阅 Ceph 官 方 网 站 获取 内 容 。 


默认 Ceph 块 设备 使 用 RBD 池 。 当 然 读者 可 以 使 用 任何 可 用 的 池 ， 在 这 里 推荐 新 建 一 个 专门 的 池 给 Cinder 使 用 。 使 用 以 下 命令 的 前 提 是 Ceph 集 群 能 正常 运行 。 


首先 新 建 一 个 名 为 volumes 的 池 ， 其 代码 如 下 : 


ceph-nodef ceph osd pool create volumes 128 


运行 cinder-volume 节 点 上 需要 Ceph 的 配置 文件 ceph.conf， 可 从 Ceph 的 节点 上 复制 过 去 ， 


环境 中 实际 cinder-volume 节 点 的 IP 替 代 下 面 命令 中 的 $your_cinder-volume ip. 


ceph-node# scp /etc/ceph/ceph.conf 
$your cinder-volume ip:/etc/ceph/ 


cinder-volume 节 点 和 nova-compute 计 算 节点 需要 安装 Ceph 的 客户 端 ， 可 在 cinder-volume 节 点 上 操作 ， 注 意 Shell 提 示 符 前 要 指明 是 在 哪个 节点 上 运行 命令 ， 其 代码 如 下 : 


cinder-volumeł apt-get install ceph-common 
nova-computet apt-get install ceph-common 


设置 认证 。 如 果 在 Ceph 集 群 中 启用 了 CephX 认 证 ， 那 么 需要 在 Ceph 中 为 Cinder 添 加 一 个 新 


户 ， 其 代码 如 下 : 


ceph-nodef ceph auth get-or-create client.cinder mon'allow r'osd'allow class-read 


object prefix rbd children, allow rwx pool-volumes, allow rx pool-images' 


把 刚才 新 创建 的 用 户 client.cinder 的 密 钥 环 传 到 volume 的 节点 上 ， 并 且 设置 属 主 为 Cinder， 


其 代码 如 下 : 


ceph-node# ceph auth get-or-create client.cinder | ssh $your cinder-volume ip sud 


o tee /etc/ceph/ceph.client.cinder.keyring 


ceph-node& ssh $your cinder-volume ip sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring 


下 面 看 看 nova-compute 计 算 节 点 需要 进行 的 配置 。 由 于 计算 节点 需要 挂 载 和 御 载 volume 到 虚拟 机 上 ， 从 技术 实现 上 来 说 ， 当 libvirt 操 作 Cinder 的 volume 时 ，libvirt 需 要 访问 Ceph 的 集群 ， 因 此 需要 


在 libvirt 中 保存 一 份 client.cinder 用 户 的 安全 密 钥 。 


首先 ,创建 一 份 安全 密 钥 的 副本 ， 命 名 为 client.cinder.key， 并 且 传 到 nova-compute 节 点 ， 


其 代码 如 下 : 


ceph-nodef ceph auth get-key client.cinder | ssh 
$your nova-compute ip tee client.cinder.key 


使 用 上 述 命令 后 会 得 到 一 个 UUID， 并 且 把 密 钥 内 容 保存 在 nova-compute 节 点 上 的 文件 client.cinder.key 中 。 例 如 UUID 是 : 


AQA44p5SaMCPOBAALBI8zIY27w/17bUnLKGesA== 


接着 在 nova-compute 节 点 上 ， 把 密 钥 添 加 到 libvirt 中 ， 出 于 安全 考虑 ， 此 后 需要 删除 刚才 传 过 来 的 密 钥 文件 。 其 代码 如 下 : 


cat > secret.xml ««EOF 

Xsecret ephemeral-'no' private-'no'» 
«uuid»AQA44p5SaMCPOBAALBIB8zIY27w/17bUnLKGesA--«/uuid» 

«usage type-'ceph'» 

«name»client.cinder secret</name> 


«/usage» 
</secret> 
EOF 
nova-compute# virsh secret-define --file secret.xml 
nova-compute# virsh secret-set-value --secret AQA44p5SaMCPOBAALBI8ZIY27w/17bUnLKGesA== --base64 $ (cat client.cinder.key) && rm client.cinder.key secret.xml 


以 上 是 为 了 使 用 CephX 认 证 需要 进行 的 步骤 。 如 果 不 启用 CephX 认 证 ， 可 以 跳 过 这 部 分 内 容 。 接 下 来 需要 让 Cinder 知 道 要 使 用 Ceph 作 为 后 端 ， 而 不 是 默认 的 LVM。 需 要 在 Cinder 节 点 的 配置 文件 
cinder.conf 中 修改 和 增加 以 下 内 容 : 


volume driver=cinder.volume.drivers.rbd.RBDDriver 
rbd pool-volumes 

rbd ceph conf-/etc/ceph/ceph.conf 

rbd flatten volume from snapshot-false 

rbd max clone depth-5 

glance api version-2 


如 果 启 用 了 CephX 认 证 ， 还 需要 添加 刚才 libvirt 中 的 密 钥 的 UUID， 其 代码 如 下 : 


rbd user-cinder 
rbd secret uuid-AQA44p5SaMCPOBAALBI8zIY2 7Tw/1T7TbUnLKGesA-- 


最 后 重启 cinder-volume 和 nova-compute 的 服务 ， 让 配置 生效 : 


nova-compute# service nova-compute restart 
cinder-volumeft service cinder-volume restart 


现在 ， 所 有 使 用 Cinder client 创 建 的 volume 都 会 由 Ceph 分 布 式 存储 系统 来 分 配 。 在 日 常 的 运行 中 ， 可 使 用 相关 的 Ceph 命 令 查看 volume 池 的 状态 。 


第 10 章 OpenStack 日 常 运 维 


10.1 ”维护 与 诊断 


10.1.1 控制 节点 和 Swift 的 维护 与 纠 错 


控制 节点 和 Swift 在 Openstack 云 中 都 有 比较 独特 的 地 位 。 当 遇 到 计划 内 或 计划 外 的 停机 后 ， 对 Openstack 云 的 影响 是 显而易见 的 。 不 同 的 是 ， 当 控制 节点 停机 后 ， 庶 拟 机 仍然 可 以 继续 运行 ， 但 是 一 
旦 Swift 停机 ， 所 有 的 存储 流量 都 会 变 为 不 可 用 直到 它 恢 复 正常 


1. 计 划 内 停机 


对 控制 节点 和 Swift 进行 例 行 维护 的 一 种 做 法 就 是 在 非 工作 时 间 进 行 停机 维护 ， 例 如 在 凌晨 1~2 点 ， 这 样 受 到 停机 影响 的 用 户 最 少 。 但 如 果 需 要 保证 7x24 的 可 用 时 间 ， 则 需要 考虑 使 用 高 可 用 性 (HA) 
配置 来 设置 控制 节点 和 Swift。 


2. 重 新 启动 服务 


对 于 系统 管理 员 来 说， 比较 彻底 的 维护 就 是 重启 。 


控制 节点 重新 启动 后 ， 可 以 通过 以 下 命令 确认 所 需 的 服务 是 否 都 正常 运行 了 。 


# ps aux | grep nova- 

4 grep AMQP /var/log/nova/nova-*.log 
# ps aux | grep glance- 

# ps aux | grep keystone 

# ps aux | grep cinder 


确认 服务 是 否 正 常 工作 的 代码 如 下 : 


# source openrc 

# glance index 

# nova list 

# keystone tenant-list 


确认 Swift 是 否 正常 工作 的 代码 如 下 : 


# ps aux | grep swift 
# swift stat 


3. 无 法 恢复 的 失效 情况 


无 法 恢复 的 原因 可 能 很 复杂 ， 因 为 控制 节点 依赖 多 个 服务 的 正确 运行 。 同 样 ， 控 制 节点 停机 后 ， 很 多 服务 和 API 接 口 也 不 可 用 。 为 了 避免 这 种 情况 的 出 现 ， 最 好 搭建 一 个 高 可 用 的 控制 节点 群集 ， 但 本 书 
会 涉及 这 方面 的 内 容 。 


另 一 个 可 以 考虑 的 方法 是 利用 类 似 Puppet 这 样 的 配置 管理 工具 自动 重建 一 个 控制 节点 。 如 果 有 一 个 热 备 主机 ，15 分 钟 之 内 基本 上 就 可 以 恢复 控制 节点 。 恢 复 完 成 后 ， 再 进行 数据 恢复 (参见 下 文 ) 。 


1031.2 ”计算 节点 的 维护 与 纠 错 


1. 计 划 内 停机 


当 需 要 重启 服务 节点 来 进行 硬件 或 软件 升级 时 ， 首 先 要 确保 所 有 客户 的 虚拟 机 已 经 迁移 出 该 节点 。 如 果 虚 拟 机 使 用 共享 存储 ， 那 么 只 需 使 用 “nova live-migration" (或 “nova evacuate” 批 量 迁 
出 ) 命令 。 


首先 列 出 所 有 需要 迁移 的 虚拟 机 ， 其 代码 如 下 : 


# nova list --host c01.example.com --all-tenants 


然后 一 个 个 迁移 虚拟 机 ， 其 代码 如 下 : 


# nova live-migration «uuid» c02.example.com 


如 果 虚 拟 机 没有 存放 在 共享 存储 上 ， 那 么 还 需要 加 上 --block-migrate 选 项 ， 其 代码 如 下 : 


# nova live-migration --block-migrate «uuid» c02.example.com 


迁移 完成 后 ， 确 保 nova-compute 服 务 正常 停止 ， 其 代码 如 下 : 


# stop nova-compute 


如 果 使 用 了 Puppet 这 样 的 配置 管理 工具 ， 该 管理 工具 可 能 不 允许 nova-compute 服 务 停止 运行 ， 此 时 可 以 临时 移 走 它 的 启动 文件 ， 其 代码 如 下 : 


4 mkdir /root/tmp 
# mv /etc/init/nova-compute.conf /root/tmp 
# mv /etc/init.d/nova-compute /root/tmp 


然后 进行 系统 维护 ， 再 重新 启动 机 器 。 这 时 先 将 之 前 移 走 的 服务 文件 恢复 过 来 ， 其 代码 如 下 : 


# mv /root/tmp/nova-compute.conf /etc/init 
# mv /root/tmp/nova-compute /etc/init.d/ 


最 后 ， 重 新 启动 服务 ， 其 代码 如 下 : 


# start nova-compute 


2. 重 新 启动 服务 


重新 启动 后 ， 可 以 通过 以 下 命令 确认 所 需 的 计算 服务 是 否 都 正常 运行 了 。 


# ps aux | grep nova-compute 
# status nova-compute 


再 确认 是 否 可 以 正确 连接 到 AMQP 消 息 服务 ， 其 代码 如 下 : 


# grep RMOP /var/log/nova/nova-compute 
2013-02-26 09:51:31 12427 INFO nova.openstack.common.rpc.common 
[-] Connected to AMQP server on 199.116.232.36:5672 


当 计 算 节点 重新 恢复 运行 后 ， 需 要 根据 和 经 销 商 或 最 终 用 户 签订 的 SLA 服 务 协议 ， 正 确 恢复 节点 上 之 前 停止 的 虚拟 机 ， 并 确保 它们 能 正常 运行 。 
3. 恢 复 虚 拟 机 实例 


可 以 通过 以 下 命令 列 出 该 机 上 所 有 虚拟 机 的 实例 : 


# nova list --host c01.example.com --all-tenants 


拿 到 虚拟 机 实例 列表 后 ， 依 次 启动 这 些 虚 拟 机 实例 ， 其 代码 如 下 : 


# nova reboot «uuid» 


Qs 当 虚 拟 机 意外 中 止 后 ， 很 可 能 无 法 正常 启动 ， 这 时 就 需要 使 用 fck 命 令 检 验 根 分 区 ， 或 者 使 用 VNC 协 议 连接 到 虚拟 机 上 查看 具体 错误 情况 。 


如 果 虚 拟 机 没有 正常 启动 ， 那 么 有 可 能 是 virsh list 根 本 就 没有 发 现 虚拟 机 ， 所 以 未 尝试 启动 它们 。 此 时 要 检验 Nova 的 日 志 ， 其 代码 如 下 : 


# tail -f /var/log/nova/nova-compute.log 


再 次 使 用 “nova reboot” 命 令 进行 启动 ， 然 后 查看 该 日 志文 件 ， 看 有 哪些 虚拟 机 无 法 启动 的 报错 信息 。 


通常 ， 错 误 的 产生 是 因为 libvirt 的 XML 配置 文件 (/etc/libvirt/qemu/instance-xxxxxxx.xml) 丢失 了 部 分 信息 ， 这 时 可 以 强制 系统 重建 XML 文 件 ， 其 代码 如 下 : 


# nova reboot --hard «uuid» 


4 .修复 失败 的 虚拟 机 


在 有 些 情况 下 ， 虚 拟 机 已 经 在 运行 ， 但 无 法 通过 SSH 连 接 ， 或 者 VNC 控 制 台 显示 启动 失败 或 kernel panic 的 崩溃 信息 ， 这 可 能 是 因为 虚拟 机 内 部 文件 系统 出 现 了 错误 。 此 时 要 用 qemu-nbd 命 令 挂 载 虚 
拟 机 磁盘 ， 恢 复 虚 拟 机 内 部 的 文件 ， 或 者 查验 虚拟 机 内 部 的 数据 信息 。 


Oze 查验 用 户 虚 拟 机 的 内 部 数据 时 ， 必 须 首先 征 得 用 户 的 同意 ! 


通过 以 下 方法 来 访问 虚拟 机 实例 内 部 的 磁盘 (/var/lib/nova/instances/instace-xxxxxx/disk) : 


1) 使 用 virsh 命 令 暂 停 虚 拟 机 。 


2) 将 qmeu-nbd 设 备 连 接 到 虚拟 磁盘 。 


3) 挂 载 qemu-nbd 设 备 。 


qemu-nbd 会 将 虚拟 机 磁盘 的 不 同 分 区 分 别 导 出 成 不 同 的 设备 。 例 如 ， 对 于 vda 磁 盘 和 根 分 区 vda1，qemu-nbd 会 分 别 导 出 成 /dewnbd0 和 /dewnbd0p1， 其 代码 如 下 : 


#mount the root partition of the device 
root(8compute-node: /var/lib/nova/instances/instance-0000274ait 
mount /dev/nbdOpl /mnt/ 
# List the directories of mnt, and the vm's folder is display 
# You can inspect the folders and access the /var/log/ files 


如 果 想 同时 查验 其 他 分 区 ， 


则 需要 将 设备 挂 载 到 其 他 的 挂 载 点 上 ， 其 代码 如 下 : 


# umount /mnt 
# qemu-nbd -c /dev/nbdl `pwd`/disk.local 
# mount /dev/nbdl /mnt/ 


这 时 可 以 看 到 : 


root(compute-node:/var/lib/nova/instances/instance-0000274af$ ls -lh /mnt/ 


total 76K 


lrwxrwxrwx. 
dr-xr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 
lrwxrwxrwx. 
lrwxrwxrwx. 


drwxr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 


dr-xr-x- 


drwxr-xr-x. 
lrwxrwxrwx. 
drwxr-xr-x. 
drwxr-xr-x. 
drwxrwxrwt. 
drwxr-xr-x. 
drwxr-xr-x. 


1 root root 7 Oct 15 00:44 bin -» usr/bin 
4 root root 4.0K Oct 15 01:07 boot 
2 root root 4.0K Oct 15 00:42 dev 
70 root root 4.0K Oct 15 11:31 etc 
root 4.0K Oct 15 01:07 home 
root 7 Oct 15 00:44 lib -» usr/lib 
root 9 Oct 15 00:44 lib64 -» usr/lib64 
16K Oct 15 00:42 losttfound 
.OK Feb 3 2012 media 
.OK Feb 3 2012 mnt 

.OK Feb 3 2012 opt 

.OK Oct 15 00:42 proc 
UK Oct 15 21:56 root 
14 root root 4.0K Oct 15 01:07 run 
1 root root 8 Oct 15 00:44 sbin -> 
2 root root 4.0K Feb 3 2012 srv 

2 root root 4.0K Oct 15 00:42 sys 
9 root root 4.0K Oct 15 16:29 tmp 
13 root root 4.0K Oct 15 00:44 usr 
17 root root 4.0K Oct 15 00:44 var 


root 
root 
root 
root 
root 
root 
root 
root 
root 


WNNNNNEPW 


root 
root 
root 
root 
root 
root 


4 


4 
4 
4 
4 


usr/sbin 


4) £&dgLUSSDSGZURES, BARAUT: 


root@compute-node: /var/lib/nova/instances/instance-0000274a# umount /mnt 


5) 断 开 nbd 设 备 连接 ， 释 放 资 源 ， 其 代码 如 下 : 


root@compute-node:/var/lib/nova/instances/instance-0000274a# 
qemu-nbd -d /dev/nbd0 
/dev/nbd0 disconnected 


6) 恢复 虚拟 机 ， 其 代码 如 下 : 


root@compute-node: /var/lib/nova/instances/instance-0000274a# virsh list 
Id Name State 
1 instance-00000981 running 
2 instance-000009f5 running 
30 instance-0000274a paused 
root(8compute-node:/var/lib/nova/instances/instance-0000274af virsh resume 30 
Domain 30 resumed 


如 果 不 执行 第 4~6 步 ， 那 就 意味 着 OpenStack 将 再 也 不 能 管理 该 


5. 恢 复 虚 拟 机 的 数据 卷 


虚拟 机 了 ， 因 为 虚拟 机 会 被 OpenStack 标 识 成 shutdown， 不 再 响应 Nova 发 出 的 任何 指令 。 


如 果 受 影响 的 虚拟 机 挂 载 了 数据 卷 (volume) ， 首 先 需要 在 OpenStack 数 据 库 (如 MySQL) 中 列 出 实例 和 volume 的 UUID， 其 代码 如 下 : 


mysql» select nova.instances.uuid as instance uuid, 
cinder.volumes.id as volume uuid, cinder.volumes. 


status, 


cinder.volumes.attach status, cinder.volumes.mountpoint, 
cinder.volumes.display name from cinder. 


volumes 

inner join nova.instances on cinder.volumes.instance uuid-nova.instances.uuid 

where nova.instances.host = 'cOl.example.com'; 

可 看 到 如 下 查询 结果 : 

4--------------- 4------------- 4-------- 4--------------- 4------------ 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| instance uuid | volume uuid | status | attach status | mountpoint | display name | 
4--------------- 4------------- 4-------- —— 4------------ 十 -一 -一 一 一 一 一 一 一 一 一 一 一 + 
| 9b969a05 | 1f0fbf36 | in-use | attached | /dev/vdc | test | 
4--------------- 4------------- 4-------- 4--------------- 4------------ 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 + 


1 row in set 


(0.00 sec) 


然后 ， 断 开 volume 连 接 后 再 重新 连接 ， 


其 代码 如 下 : 


# nova volume-detach «instance uuid» «volume uuid» 
# nova volume-attach «instance uuid» «volume uuid» /dev/vdX 


上 面 代码 段 中 的 “X” 需 要 蔡 换 成 实际 的 volume 挂 载 点 ， 但 是 必须 保证 虚拟 机 已 经 可 以 正常 启动 并 显示 登录 界面 了 。 


6 .无 法 恢复 的 失效 实例 


如 果 一 个 计算 节点 失效 并 且 数 小 时 也 无 法 修复 ， 而 所 有 数据 实例 都 存放 在 共享 存储 上 ( 即 /var/lib/nova/instances 挂 载 在 共享 存储 设备 上 ) ， 应 该 如 何 处 理 呢 ? 


首先 ， 从 Nova 数 据 库 中 列 出 失效 节点 上 所 驻 的 所 有 虚拟 机 ， 其 代码 如 下 : 


mysql» select uuid from instances where host = 'cOl.example.com' and deleted = 0; 


接着 ， 告 诉 Nova， 所 有 虚拟 机 将 会 驻 留 在 另外 一 个 节点 (cOZ.example.com) 上 ， 其 代码 如 下 : 


mysql» update instances set host = 'c02.example.com' where host 
= 'cOl.example.com' and deleted = 0; 


重新 启动 这 些 虚 拟 机 实例 ， 同 时 强制 更 新 XML 文件 ， 其 代码 如 下 : 


# nova reboot --hard <uuid> 


最 后 ， 按 照 之 前 说 的 方法 重新 挂 载 volume 数 据 卷 。 


7 I &/var/lib/nova/instancesE 3 


/var/lib/nova/instances 目 录 保 存 了 本 机 所 驻 留 的 所 有 虚拟 机 实例 的 libvirt 的 KVM 磁盘 文件 。 如 果 该 目录 不 是 挂 载 在 共享 存储 上 的 ， 那 么 每 个 节点 的 该 目录 都 是 唯一 的 。 


该 目录 有 两 类 子 目 录 : 


“一 类 是 _base 目 录 。 它 缓存 了 虚拟 机 启动 时 从 Glance 镜 像 服务 中 提取 的 虚拟 机 模板 镜像 。 带 有 _20 (或 其 他 数字 ) 后 组 的 文件 是 额外 挂 载 的 模板 镜像 。 


“ 另 一 类 是 很 多 目录 名 类 似 instance-xxxxx 的 子 目录 ， 每 个 目录 对 应 着 一 个 该 机 驻 留 的 虚拟 机 实例 ， 里 面 的 文件 和 _base 目 录 下 某 个 镜像 文件 存在 着 关联 ， 保 存 与 模板 镜像 之 间 的 差异 化 磁盘 数据 。 


所 有 /varlib/novayVinstances 下 的 目录 和 文件 名 都 是 独一无二 的 ， 可 以 将 这 些 目录 复制 到 其 他 节点 上 ， 这 个 操作 不 会 覆盖 目标 已 经 运行 的 虚拟 机 实例 数据 。 尽 管 这 不 是 官方 文档 支持 的 方法 ， 但 当 计 算 
节点 永久 失效 ， 又 没 使 用 共享 存储 存放 虚拟 机 实例 数据 时 ， 还 是 可 以 考虑 的 。 


10.1.3 ”网 络 诊断 


1. 检 查 网 卡 状态 


在 各 个 计算 节点 上 ， 无 论 网 卡 是 否 被 启用 ， 都 可 以 使 用 “ip a” 命 令 来 查看 网 卡 的 信息 ， 例 如 IP 分 配 和 VLAN。 


在 遇 到 任何 网 络 问题 时 ， 检 查 网 卡 的 “健康 ”状况 都 是 首先 要 做 的 事情 ， 其 示例 代码 如 下 : 


$ ip a | grep state 

1: lo: <LOOPBACK,UP,LOWER UP» mtu 16436 qdisc noqueue state UNKNOWN 

2: eth0: «BROADCAST,MULTICAST,UP,LOWER UP» mtu 1500 qdisc pfifo fast state UP 
qlen 1000 

3: ethl: «BROADCAST,MULTICAST,UP,LOWER UP» mtu 1500 qdisc pfifo fast master 
br100 state UP qlen 1000 

4: virbr0: «NO-CARRIER,BROADCAST,MULTICAST,UP» mtu 1500 qdisc noqueue state 
DOWN 

6: br100: «BROADCAST,MULTICAST,UP,LOWER UP» mtu 1500 qdisc noqueue state UP 


可 以 忽略 virbr0， 因 为 它 是 由 QEMU 创 建 的 一 个 默认 网 桥 ，Openstack 不 会 使 用 它 。 


2. 虚 拟 机 网 络 通路 


10-1 所 示 。 


[ 


登录 到 虚拟 机 ，ping 外 网 ， 比 如 输入 google.com 时 ，ping 数 据 包 的 路 径 如 


1) 虚拟 机 会 产生 网 络 数据 包 ， 并 放 在 虚拟 机 内 部 虚拟 出 来 的 网 卡 中 ， 例 如 eth0。 


二 


2) 数据 包 会 被 传递 到 宿主 机 中 的 虚拟 网 卡 中 ， 例 如 vnet1。 可 以 通过 查看 /etc/libvirt/qemu/instance-xxxxxx.xmlI 来 得 到 与 虚拟 机 关联 的 虚拟 网 卡 设备 号 。 


3) 然后 ， 数 据 包 会 被 送 到 宿主 机 中 的 虚拟 网 桥 ， 例 如 br100 中 。 如 果 使 用 FlatDHCPManager 管 理 网 络 ， 宿 主机 上 只 有 一 个 网 桥 ; 如 果 使 用 VlanManager， 则 每 个 VLAN 都 会 有 一 个 网 桥 。 可 以 使 用 命 


“brctl show" 查看 虚拟 网 卡 使 用 的 网 桥 ， 也 可 以 浏览 nova.conf 里 的 flat_interface_option 配 置 来 查看 该 网 桥 。 


d 


4) 数据 包 会 进一步 发 送 到 宿主 机 的 物理 网 卡 上 。 同 上 ， 也 可 以 通过 brctl 命 令 或 者 flat_ interface_option 配 置 来 查看 该 网 卡 的 信息 。 


图 10-1 bing 数 据 包 的 路 径 


5) 当 数 据 包 从 宿主 机 发 送 到 网 关 以 后 ，Openstack 便 不 再 控制 它 的 流向 了 。 图 10-1 所 示 是 一 个 外 部 网 关 ， 但 在 默认 的 多 机 配置 中 ， 计 算 节 点 一 般 本 身 就 充当 了 网 关 的 角色 。 
上 述 流程 的 逆 过 程 即 是 ping 命 令 的 回复 路 径 。 
每 一 个 数据 包 都 经 过 了 4 个 虚拟 或 物理 的 网 络 设备 ， 其 中 任何 一 个 出 问题 ， 都 会 导致 网 络 故障 。 
3. 检 测 网 络 
使 用 ping 命 令 是 快速 检测 网 络 是 否 正常 的 方法 。 如 果 能 成 功 ping 通 外 部 网 络 ， 则 基本 可 以 证 明 网 络 是 没有 问题 的 。 
如 果 不 能 ping 通 外 部 网 络 ， 试 着 ping 一 下 虚拟 机 的 宿主 机 的 IP 地 址 。 如 果 能 ping 通 ， 那 么 说 明 问 题 可 能 出 现在 计算 节点 和 网 关 之 间 。 
如 果 宿 主机 的 IP 都 无 法 ping 通 ， 那 么 故障 很 可 能 出 现在 虚拟 机 和 宿主 机 之 间 ， 比 如 连接 虚拟 网 卡 和 物理 网 卡 的 网 桥 。 
最 后 ， 尝 试 在 本 机 的 两 个 虚拟 机 之 间 ping 一 下 。 如 果 成 功 ， 则 很 可 能 是 防火 墙 的 设置 出 现 了 问题 。 
(1) tcpdump 
另 一 个 很 不 错 的 办 法 就 是 用 tcpdump 在 整个 网 络 路 径 上 进行 诊断 ， 不 过 对 于 初学 者 这 可 能 有 些 困难 。 如 果 喜 欢 用 GUI 界面 ， 那 么 可 以 尝试 一 下 Wireshark。 


举 个 例子 ， 输 入 如 下 命令 : 


tcpdump -i any -n -v 'icmp[icmptype] = icmp-echoreply or icmp[icmptype] = icmp-echo' 


让 该 命令 分 别 运行 在 计算 节点 上 的 一 个 虚拟 机 、 计 算 节点 、Openstack 云 之 外 的 一 台 主机 上 。 
假设 它们 的 IP 地 址 分 别 为 : 


1) 虚拟 机 。 


10.0.2.24 
203.0.113.30 


2) 计算 节点 。 


10.0.0.42 
203.0.113.34 


3) 外 部 主机 。 


1:2:9:4 


在 虚拟 机 中 ping 运 行 有 tcpdump 的 外 部 主机 。 如 果 网 络 回路 没有 问题 ， 则 会 看 到 如 下 输出 : 


1) 外 部 主机 。 


12:51:42.020227 IP (tos 0x0, ttl 61, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 

203.0.113.30 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.020255 IP (tos 0x0, ttl 64, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 

1.2.3.4 » 203.0.113.30: ICMP echo reply, id 24895, seq 1, length 64 


2) 计算 节点 。 


12:51:42.019519 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 
10.0.2.24 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.019519 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 
10.0.2.24 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.019545 IP (tos 0x0, ttl 63, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 
203.0.113.30 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.019780 IP (tos 0x0, ttl 62, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 
1.2.3.4 » 203.0.113.30: ICMP echo reply, id 24895, seq 1, length 64 
12:51:42.019801 IP (tos 0x0, ttl 61, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 
1.2.3.4 » 10.0.2.24: ICMP echo reply, id 24895, seq 1, length 64 
12:51:42.019807 IP (tos 0x0, ttl 61, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 

1.2.3.4 » 10.0.2.24: ICMP echo reply, id 24895, seq 1, length 64 


3) 虚拟 机 。 


12:51:42.020974 IP (tos 0x0, ttl 61, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 
1.2.3.4 » 10.0.2.24: ICMP echo reply, id 24895, seq 1, length 64 


这 些 输出 表明 ， 外 部 主机 收 到 了 一 个 ping 请 求 并 发 出 了 一 个 ping 响 应 。 计 算 节 点 让 ping 请 求 和 回应 成 功 通过 了 。 此 时 会 发 现 计算 节点 上 有 重复 的 数据 包 ， 这 是 因为 ttpdump 同 时 捕获 了 网 桥 和 物理 网 
卡 上 的 数据 包 。 


(2) iptables 


Nova 自 动 管理 iptables 设 置 ， 包 括 在 计算 节点 和 虚拟 机 之 间 转 发 数据 包 ， 浮 动 |P 的 数据 转发 ， 以 及 管理 安全 组 (security-group) . 


使 用 命令 “iptables-save” 可 以 查看 当前 的 iptables 配 置 。 


Qa È 如果 修改 了 iptables 的 配置 ， 下 次 重启 Nova 网 络 后 ， 修 改 会 被 撤销 。 因 此 ， 必 须 使 用 OpenStack 来 管理 iptables。 


4 管理 数据 库 中 的 网 络 配置 
Nova 数 据 库 中 有 以 下 几 个 表 保存 了 网 络 配置 的 相关 信息 。 
* fixed ips: 保存 着 分 配给 Nova 子 网 的 所 有 的 固定 IP 地 址 ， 它 通过 fixed_ips.instance_uuid 关 联 到 instance 表 。 
- floating ips: 保存 着 分 配给 Nova 子 网 的 所 有 的 浮动 IP 地 址 ， 它 通过 floating ips.fixed_ip 关 联 到 fixed_ips 表 。 


instance: 不 是 用 来 保存 网 络 相关 信息 的 ， 不 过 前 两 张 表 都 会 通过 实例 id 关联 到 该 表 。 


从 上 述 表 关系 可 以 了 解 到 ， 浮 动 |P 不 会 直接 关联 到 某 个 虚拟 机 实例 ， 需 要 通过 fixed ip 中 继 一 下 。 


有 时 虚拟 机 被 中 止 和 删除 以 后 ， 与 其 关联 的 |P 未 能 正确 释放 。 此 时 ， 由 于 数据 库 中 的 记录 一 致 性 缺失 ， 断 开 虚 拟 机 1P 关 联 的 工具 很 可 能 无 法 起 作用 。 这 时 需要 手动 更 新 数据 库 。 


首先 ， 找 到 该 虚拟 机 的 UUID， 其 代码 如 下 : 


mysql» select uuid from instances where hostname = 'hostname'; 


然后 ， 查 找 与 该 虚拟 机 关联 的 固定 IP， 其 代码 如 下 : 


mysql» select * from fixed ips where instance uuid = '«uuid»'; 


接着 ,继续 查找 所 关联 的 浮动 IP， 其 代码 如 下 : 


mysql» select * from floating ips where fixed ip id = '«fixed ip id>'7 


最 后 ， 手 动 删除 关联 信息 ， 其 代码 如 下 : 


mysql» update floating ips set fixed ip id = NULL, host = NULL where fixed ip id = 
'«fixed ip id>'; 


还 可 在 IP 池 中 释放 该 IP， 其 代码 如 下 : 


mysql» update floating ips set project id = NULL where fixed ip id -'«fixed ip id>'; 


5. 诊 断 DHCP 和 DNS 故障 


虚拟 机 启动 后 无 法 正常 通过 dnsmasq (由 Nova 的 网 络 服务 启动 ) 获取 IP 时 ， 该 如 何 处 理 呢 ? 


最 简单 的 方法 是 查看 虚拟 机 的 控制 台 输出 ， 其 代码 如 下 : 


$ nova console-log «instance name or uuid» 


如 果 虚 拟 机 无 法 从 DHCP 中 获取 IP， 那 么 控制 台 输 出 中 通常 会 有 某 些 信息 。 例 如 : 


udhcpc (v1.17.2) started 

Sending discoverhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
Sending discoverhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
Sending discoverhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
No lease, forking to background = 

starting DHCP forEthernet interface eth0 [ [1;32mOK[0;39m ] 


cloud-setup: checking http:// 169.254.169.254/2009-04-04/meta-data/instance-id 
wget: can't connect to remote host (169.254.169.254): Network is unreachable 


DHCP 错 误 可 能 是 dnsmasq 无 法 正常 工作 引起 的 。 最 简单 的 解决 办 法 是 停止 dnsmasq 进 程 ， 然 后 重新 启动 网 络 服务 ， 


代码 如 下 : 


# killall dnsmasq 
# restart nova-network 


查看 这 次 dnsmasq 是 否 正 常 的 代码 如 下 : 


# ps aux | grep dnsmasq 

nobody 3735 0.0 0.0 27540 1044 ? S 15:40 0:00 /usr/sbin/dnsmasq 
--strict-order 

--bind-interfaces --conf-file- 

—-domain-novalocal 
-—-pid-file-/var/lib/nova/networks/nova-br100.pid 
--listen-address-192.168.100.1 

--except-interface-lo 
--dhcp-range-set:'novanetwork',192.168.100.2,static,120s 
--dhcp-lease-max-256 
--dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
—-dhcp-script-/usr/bin/nova-dhcpbridge 

--leasefile-ro root 3736 0.0 0.0 27512 444 ? S 15:40 0:00 /usr/sbin/dnsmasq 
--strict-order 

--bind-interfaces --conf-file- 

-—-domain-novalocal 
--pid-file-/var/lib/nova/networks/nova-br100.pid 
--listen-address-192.168.100.1 

--except-interface-lo 

--dhcp-range-set: 'novanetwork',192.168.100.2,static,120s 
--dhcp-lease-max-256 
-—-dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
--dhcp-script-/usr/bin/nova-dhcpbridge --leasefile-ro 


如 果 虚 拟 机 仍 无 法 获取 IP， 那 么 查看 dnsmasq 是 否 可 以 收 到 DHCP 请 求 。 查 看 宿主 机 上 /var/log/syslog 中 的 dnsmasq 相 关 日 志 。 若 dnsmasq 正 常 工 作 ， 可 看 到 类 似 下 面 这 样 的 信息 : 


Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPDISCOVER (br100) 
fa:16:3e:56:0b:6f 

Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPOFFER(br100) 192.168.100.3 
fa:16:3e:56:0b:6f 

Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPREQUEST (br100) 192.168.100.3 
fa:16:3e:56:0b:6f 

Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPACK(br100) 192.168.100.3 
fa:16:3e:56:0b:6f test 


如 果 没 有 看 到 DHCPDISCOVER 的 信息 ， 那 么 很 可 能 是 从 虚拟 机 到 宿主 机 的 网 路 通路 存在 问题 。 如 果 上 述 所 有 日 志 都 正常 但 依旧 无 法 获取 IP， 则 问题 可 能 出 在 数据 包 的 返程 上 。 


如 果 看 到 以 下 输出 : 


Feb 27 22:01:36 mynode dnsmasq-dhcp[25435]: DHCPDISCOVER (br100) 
fa:16:3e:78:44:84 no address available 


则 表明 DHCP 服 务 已 经 没有 剩余 的 IP 可 供 分 配 了 。 


如 果 看 不 到 dnsmasq 的 日 志 输 出 ， 则 


需要 查看 dnsmasq 信 息 本 身 的 状态 ， 命 令 如 下 : 


$ ps aux | grep dnsmasq 

108 1695 0.0 0.0 25972 1000 ? S Feb26 0:00 /usr/sbin/dnsmasq -u libvirtdnsmasq 
--strict-order --bind-interfaces 
--pid-file-/var/run/libvirt/network/default.pid 

--conf-file- --exceptinterface 

lo --listen-address 192.168.122.1 

--dhcp-range 192.168.122.2,192.168.122.254 
—-dhcp-leasefile-/var/lib/libvirt/dnsmasq/default.leases 
--dhcp-lease-max-253 --dhcp-no-override 

nobody 2438 0.0 0.0 27540 1096 ? S Feb26 0:00 /usr/sbin/dnsmasq 
--strict-order 

--bind-interfaces --conf-file- 

-—-domain-novalocal 

-—-pid-file-/var/lib/nova/networks/nova-br100.pid 

--listenaddress- 

192.168.100.1 

--except-interface-lo --dhcp-range-set: 'novanetwork',192.168.100.2,static, 
120s --dhcp-lease-max-256 
--dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
--dhcp-script-/usr/bin/nova-dhcpbridge --leasefile-ro 

root 2439 0.0 0.0 27512 472 ? S Feb26 0:00 /usr/sbin/dnsmasq 
--strict-order --bind-interfaces --conf-file- 

—-domain-novalocal 

-—-pid-file-/var/lib/nova/networks/nova-br100.pid 

--listenaddress- 

192.168.100.1 

-—-except-interface-lo 
--dhcp-range-set:'novanetwork',192.168.100.2,static,120s --dhcp-lease-max-256 
-—-dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
--dhcp-script-/usr/bin/nova-dhcpbridge --leasefile-ro 


如 果 dnsmasq 本 身 没 有 任何 问题 ， 那 么 只 能 使 用 tcpdump 逐 一 诊断 网 络 看 是 哪 一 部 分 丢失 了 DHCP 请 求 。DHCP 是 UDP 请 求 ， 从 客户 端的 68 端 口 发 送 到 DHCP 服 务 端 的 67 端 


然后 监听 所 有 虚拟 网 卡 和 物理 网 卡 ， 看 看 哪个 没有 收 到 该 UDP 包 ， 其 代码 如 下 : 


。 斌 外 


启动 一 台 虚拟 机 ， 


# tcpdump -i br100 -n port 67 or port 68 


当然 ， 在 此 之 前 需 "ip a” 和 “brctl” 命 令 确认 所 有 物理 /虚拟 网 卡 是 否 正常 工作 ， 以 及 是 否 正确 配置 。 


如 果 可 以 通过 SSH 登 录 到 虚拟 机 ， 但 很 久 才 出 现 提示 符 ， 则 可 能 是 DNS 服务 出 了 问题 ， 因 为 SSH 


验证 的 方法 很 简单 ， 随 便 查询 一 个 


机 名 看 是 否 成 功 即 可 ， 其 示例 代码 如 下 : 


机 会 对 该 IP 做 一 个 反 向 DNS 查询 ， 假 使 DNS 服务 无 法 正常 工作 ，SSH 必 须 等 DNS 请 求 超时 后 才 会 继 


$ host openstack.org 

openstack.org has address 174.143.194.225 
openstack.org mail is handled by 10 mxl.emailsrvr.com. 
openstack.org mail is handled by 20 mx2.emailsrvr.com. 


也 可 以 使 用 下 面 的 方法 : 


$ ping openstack.org 
PING openstack.org (174.143.194.225): 56 data bytes 


如 果 DNS 服 务实 效 ， 则 可 以 看 到 : 


$ ping openstack.org 
ping: bad address 'openstack.org' 


在 OpenStack 中 ，dnsmasq 充 当 着 DNS 服务 器 的 角色 。dnsmasq 无 法 正常 工作 就 会 导致 DNS 服务 无 法 工作 。 可 以 用 上 文 所 述 的 方法 验证 和 修复 dnsmasq 服 务 。 


如 果 修 复 后 仍旧 无 法 解决 问题 ， 那 么 只 能 用 tcpdump 来 诊断 了 。DNS 服 务 器 在 53 端 口 监听 UDP 请 求 包 ， 可 以 在 计算 节点 上 监视 网 桥 发 来 的 UDP 请 求 ， 其 代码 如 下 : 


# tcpdump -i brl00 -n -v udp port 53 
tcpdump: listening on br100, link-type EN10MB (Ethernet), capture size 65535 
bytes 


此 时 ， 在 虚拟 机 中 ping 一 下 openstack.org， 则 会 看 到 如 下 输出 : 


16:36:18.807518 IP (tos 0x0, ttl 64, id 56057, offset 0, flags [DF], proto UDP 
(17), length 59) 

192.168.100.4.54244 > 192.168.100.1.53: 2+ A? openstack.org. (31) 
16:36:18.808285 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto UDP 
(17), length 75) 

192.168.100.1.53 » 192.168.100.4.54244: 2 1/0/0 openstack.org. A 174.143.194. 
225 (47) 


第 10 章 OpenStack 日 常 运 维 


10.1 ”维护 与 诊断 


10.1.1 控制 节点 和 Swift 的 维护 与 纠 错 


控制 节点 和 Swift 在 OpenStack 云 中 都 有 比较 独特 的 地 位 。 当 遇 到 计划 内 或 计划 外 的 停机 后 ， 对 Openstack 云 的 影响 是 显而易见 的 。 不 同 的 是 ， 当 控制 节点 停机 后 ， 虚 拟 机 仍然 可 以 继续 运行 ， 但 是 一 
旦 Swift 停机 ， 所 有 的 存储 流量 都 会 变 为 不 可 用 直到 它 恢复 正常 。 


1. 计 划 内 停机 


对 控制 节点 和 Swift 进行 例 行 维护 的 一 种 做 法 就 是 在 非 工作 时 间 进 行 停机 维护 ， 例 如 在 凌晨 1~2 点 ， 这 样 受 到 停机 影响 的 用 户 最 少 。 但 如 果 需 要 保证 7x24 的 可 用 时 间 ， 则 需要 考虑 使 用 高 可 用 性 (HA) 
配置 来 设置 控制 节点 和 Swift。 


2. 重 新 启动 服务 


对 于 系统 管理 员 来 说， 比较 彻底 的 维护 就 是 重启 。 


控制 节点 重新 启动 后 ， 可 以 通过 以 下 命令 确认 所 需 的 服务 是 否 都 正常 运行 了 。 


# ps aux | grep nova- 

4 grep AMQP /var/log/nova/nova-*.log 
# ps aux | grep glance- 

# ps aux | grep keystone 

# ps aux | grep cinder 


确认 服务 是 否 正 常 工作 的 代码 如 下 : 


# source openrc 

# glance index 

# nova list 

# keystone tenant-list 


确认 Swift 是 否 正常 工作 的 代码 如 下 : 


# ps aux | grep swift 
* swift stat 


3. 无 法 恢复 的 失效 情况 


无 法 恢复 的 原因 可 能 很 复杂 ， 因 为 控制 节点 依赖 多 个 服务 的 正确 运行 。 同 样 ， 控 制 节点 停机 后 ， 很 多 服务 和 API 接 口 也 不 可 用 。 为 了 避免 这 种 情况 的 出 现 ， 最 好 搭建 一 个 高 可 用 的 控制 节点 群集 ， 但 本 书 
不 会 涉及 这 方面 的 内 容 。 


另 一 个 可 以 考虑 的 方法 是 利用 类 似 Puppet 这 样 的 配置 管理 工具 自动 重建 一 个 控制 节点 。 如 果 有 一 个 热 备 主机 ，15 分 钟 之 内 基本 上 就 可 以 恢复 控制 节点 。 恢 复 完 成 后 ， 再 进行 数据 恢复 (参见 下 文 ) 。 


10.1.2 ”计算 节点 的 维护 与 纠 错 


1. 计 划 内 停机 
当 需 要 重启 服务 节点 来 进行 硬件 或 软件 升级 时 ， 首 先 要 确保 所 有 客户 的 虚拟 机 已 经 迁移 出 该 节点 。 如 果 虚 拟 机 使 用 共享 存储 ， 那 么 只 需 使 用 “nova live-migration" (或 “nova evacuate” 批 量 迁 
出 ) 命令 


首先 列 出 所 有 需要 迁移 的 虚拟 机 ， 其 代码 如 下 : 


# nova list --host cOl.example.com --all-tenants 


然后 一 个 个 迁移 虚拟 机 ， 其 代码 如 下 : 


# nova live-migration <uuid> c02.example.com 


如 果 虚 拟 机 没有 存放 在 共享 存储 上 ， 那 么 还 需要 加 上 --block-migrate 选 项 ， 其 代码 如 下 : 


# nova live-migration --block-migrate «uuid» c02.example.com 


迁移 完成 后 ,确保 nova-compute 服 务 正常 停止 ， 其 代码 如 下 : 


# stop nova-compute 


如 果 使 用 了 Puppet 这 样 的 配置 管理 工具 ， 该 管理 工具 可 能 不 允许 nova-compute 服 务 停 止 运行 ， 此 时 可 以 临时 移 走 它 的 启动 文件 ， 其 代码 如 下 : 


# mkdir /root/tmp 
# mv /etc/init/nova-compute.conf /root/tmp 
# mv /etc/init.d/nova-compute /root/tmp 


然后 进行 系统 维护 ， 再 重新 启动 机 器 。 这 时 先 将 之 前 移 走 的 服务 文件 恢复 过 来 ， 其 代码 如 下 : 


# mv /root/tmp/nova-compute.conf /etc/init 
# mv /root/tmp/nova-compute /etc/init.d/ 


最 后 ， 重 新 启动 服务 ， 其 代码 如 下 : 


# start nova-compute 


2. 重 新 启动 服务 


重新 启动 后 ， 可 以 通过 以 下 命令 确认 所 需 的 计算 服务 是 否 都 正常 运行 了 。 


# ps aux | grep nova-compute 
# status nova-compute 


再 确认 是 否 可 以 正确 连接 到 AMQP 消 息 服务 ， 其 代码 如 下 : 


# grep RMOP /var/log/nova/nova-compute 
2013-02-26 09:51:31 12427 INFO nova.openstack.cormmon.rpc.common 
[-] Connected to AMQP server on 199.116.232.36:5672 


当 计算 节点 重新 恢复 运行 后 ， 需 要 根据 和 经 销 商 或 最 终 用 户 签订 的 SLA 服 务 协议 ， 正 确 恢复 节点 上 之 前 停止 的 虚拟 机 ， 并 确保 它们 能 正常 运行 。 
3. 恢 复 虚 拟 机 实例 


可 以 通过 以 下 命令 列 出 该 机 上 所 有 虚拟 机 的 实例 : 


# nova list --host c01.example.com --all-tenants 


拿 到 虚拟 机 实例 列表 后 ， 依 次 启动 这 些 虚 拟 机 实例 ， 其 代码 如 下 : 


# nova reboot <uuid> 


Oze 当 虐 拟 机 意外 中 止 后 ， 很 可 能 无 法 正常 启动 ， 这 时 就 需要 使 用 fsck 命 令 检 验 根 分 区 ， 或 者 使 用 VNC 协 议 连 接 到 虚拟 机 上 查看 具体 错误 情况 。 


如 果 虚 拟 机 没有 正常 启动 ， 那 么 有 可 能 是 virsh list 根 本 就 没有 发 现 虚拟 机 ， 所 以 未 尝试 启动 它们 。 此 时 要 检验 Nova 的 日 志 ， 其 代码 如 下 : 


# tail -f /var/log/nova/nova-compute.log 


再 次 使 用 “nova reboot” 命 令 进行 启动 ， 然 后 查看 该 日 志文 件 ， 看 有 哪些 虚拟 机 无 法 启动 的 报错 信息 。 


通常 ， 错 误 的 产生 是 因为 libvirt 的 XML 配置 文件 (/etc/libvirt/qemu/instance-xxxxxxx.xml) 丢失 了 部 分 信息 ， 这 时 可 以 强制 系统 重建 XML 文 件 ， 其 代码 如 下 : 


# nova reboot --hard «uuid» 


4 .修复 失败 的 虚拟 机 


在 有 些 情况 下 ， 虚 拟 机 已 经 在 运行 ， 但 无 法 通过 SSH 连 接 ， 或 者 VNC 控 制 台 显示 启动 失败 或 kernel panic 的 崩溃 信息 ， 这 可 能 是 因为 虚拟 机 内 部 文件 系统 出 现 了 错误 。 此 时 要 用 qemu-nbd 命 令 挂 载 虚 
拟 机 磁盘 ， 恢 复 虚 拟 机 内 部 的 文件 ， 或 者 查验 虚拟 机 内 部 的 数据 信息 。 


Oze 查验 用 户 虚 拟 机 的 内 部 数据 时 ， 必 须 首先 征 得 用 户 的 同意 ! 


通过 以 下 方法 来 访问 虚拟 机 实例 内 部 的 磁盘 (/var/lib/nova/instances/instace-xxxxxx/disk) : 


1) 使 用 virsh 命 令 暂 停 虚拟 机 。 


2) 将 qmeu-nbd 设 备 连 接 到 虚拟 磁盘 。 


3) 挂 载 qemu-nbd 设 备 。 


qemu-nbd 会 将 虚拟 机 磁盘 的 不 同 分 区 分 别 导 出 成 不 同 的 设备 。 例 如 ， 对 


区 vda1，qemu-nbd 会 分 别 导出 成 /dev/nbd0 和 /dev/nbd0p1， 其 代码 如 下 : 


#mount the root partition of the device 


root@compute-node:/var/lib/nova/instances/instance-0000274a# 


mount /dev/nbd0p1 /mnt/ 


# List the directories of mnt, and the vm's folder is display 
# You can inspect the folders and access the /var/log/ files 


如 果 想 同时 查验 其 他 分 区 ， 


则 需要 将 设备 挂 载 到 其 他 的 挂 载 点 上 ， 其 代码 如 下 : 


# umount /mnt 
# gemu-nbd -c /dev/nbdl ^pwd'/disk.local 
# mount /dev/nbdl /mnt/ 


这 时 可 以 看 到 : 


root(compute-node:/var/lib/nova/instances/instance-0000274af$ ls -lh /mnt/ 


total 76K 


lrwxrwxrwx. 
dr-xr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 
lrwxrwxrwx. 
lrwxrwxrwx. 


drwxr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 
drwxr-xr-x. 
dr-xr-x---. 
drwxr-xr-x. 
lrwxrwxrwx. 
drwxr-xr-x. 
drwxr-xr-x. 
drwxrwxrwt. 
drwxr-xr-x. 
drwxr-xr-x. 


1 root root 7 Oct 15 00:44 bin -» usr/bin 
4 root root 4.0K Oct 15 01:07 boot 
2 root root 4.0K Oct 15 00:42 dev 
70 root root 4.0K Oct 15 11:31 etc 
4.0K Oct 15 01:07 home 
7 Oct 15 00:44 lib -> usr/lib 


root 
root 
root 
root 
root 
root 
root 
root 
root 


WNNNNNPPW 


root 
root 
root 
root 
root 
root 
root 
root 
root 


9 Oct 15 00:44 lib64 -> usr/lib64 


16K Oct 15 00:42 lost+found 
4.0K Feb 3 2012 media 
4.0K Feb 3 2012 mt 

4.0K Feb 3 2012 opt 

4.0K Oct 15 00:42 proc 
4.0K Oct 15 21:56 root 
14 root root 4.0K Oct 15 01:07 run 
1 root root 8 Oct 15 00:44 sbin -> 
2 root root 4.0K Feb 3 2012 srv 

2 root root 4.0K Oct 15 00:42 sys 
9 root root 4.0K Oct 15 16:29 tmp 
13 root root 4.0K Oct 15 00:44 usr 
17 root root 4.0K Oct 15 00:44 var 


usr/sbin 


4) FERRERA, BARAUT: 


root@compute-node:/var/lib/nova/instances/instance-0000274a# umount /mnt 


5) 断 开 nbd 设 备 连接 ， 释 放 资 源 ， 其 代码 如 下 : 


root@compute-node:/var/lib/nova/instances/instance-0000274a# 


qemu-nbd -d /dev/nbd0 
/dev/nbd0 disconnected 


6) 恢复 虚拟 机 ， 其 代码 如 下 : 


root@compute-node:/var/lib/nova/instances/instance-0000274a# virsh list 
Id Name State 
1 instance-00000981 running 
2 instance-000009f5 running 
30 instance-0000274a paused 
root8compute-node:/var/lib/nova/instances/instance-0000274a£ virsh resume 30 
Domain 30 resumed 


如 果 不 执行 第 4~6 步 ， 那 就 意味 着 Openstack 将 再 也 不 能 管理 该 虚拟 机 了 ， 


5. 恢 复 虚 拟 机 的 数据 卷 


为 虚拟 机 会 被 OpenStack 标 识 成 shhutdown， 不 再 响应 Nova 发 出 的 任何 指令 。 


如 果 受 影响 的 虚拟 机 挂 载 了 数据 卷 (volume) ， 首 先 需要 在 OpenStack 数 据 库 (如 MySQL) 中 列 出 实例 和 volume 的 UUID， 其 代码 如 下 : 


mysql> select nova.instances.uuid as instance uuid, 
cinder.volumes.id as volume uuid, cinder.volumes. 


status, 


cinder.volumes.attach status, cinder.volumes.mountpoint, 


cinder.volumes.display name from cinder. 


Treo 


1 row in set (0.00 sec) 


| test | 
-4 ied 


volumes 

inner join nova.instances on cinder.volumes.instance uuid-nova.instances.uuid 

where nova.instances.host = 'cOl.example.com'; 

可 看 到 如 下 查询 结果 : 

4--------------- 4------------- 4-------- 4--------------- 4------------ 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| instance uuid | volume uuid | status | attach status | mountpoint | display name | 
4--------------- 4------------- 4-------- 4--------------- 4------------ 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 + 
| 9b969a05 | 1f0fbf36 | in-use | attached | /dev/vdc 


然后 ， 断 开 volume 连 接 后 再 重新 连接 ， 


其 代码 如 下 : 


# nova volume-detach <instance uuid> <volume uuid> 


# nova volume-attach «instance uuid> «volume uuid» /dev/vdX 


上 面 代码 段 中 的 “X” 需要 蔡 换 成 实际 的 volume 挂 载 点 ， 但 是 必须 保证 虚拟 机 已 经 可 以 正常 启动 并 显示 登录 界面 了 。 


6 .无 法 恢复 的 失效 实例 


如 果 一 个 计算 节点 失效 并 且 数 小 时 也 无 法 修复 ， 而 所 有 数据 实例 都 存放 在 共享 存储 上 ( 即 /var/lib/nova/instances 挂 载 在 共享 存储 设备 上 ) ， 应 该 如 何 处 理 呢 ? 


首先 ， 从 Nova 数 据 库 中 列 出 失效 节点 上 所 驻 的 所 有 虚拟 机 ， 其 代码 如 下 : 


mysql» select uuid from instances where host = 'cOl.example.com' and deleted = 0; 


接着 ， 告 诉 Nova， 所 有 虚拟 机 将 会 驻 留 在 另外 一 个 节点 (cOZ.example.com) 上 ， 其 代码 如 下 : 


mysql» update instances set host = 'c02.example.com' where host 
= 'cOl.example.com' and deleted = 0; 


重新 启动 这 些 虚 拟 机 实例 ， 同 时 强制 更 新 XML 文件 ， 其 代码 如 下 : 


# nova reboot --hard «uuid» 


最 后 ， 按 照 之 前 说 的 方法 重新 挂 载 volume 数 据 卷 。 


7. 恢 复 /var/lib/nova/instances 目 录 


/var/lib/nova/instances 目 录 保存 了 本 机 所 驻 留 的 所 有 虚拟 机 实例 的 libvirt 的 KYM 磁 盘 文 件 。 如 果 该 目录 不 是 挂 载 在 共享 存储 上 的 ， 那 么 每 个 节点 的 该 目录 都 是 唯一 的 。 


该 目录 有 两 类 子 目录 : 
“ 一 类 是 _base 目 录 。 它 缓存 了 虚拟 机 启动 时 从 Glance 镜 像 服务 中 提取 的 虚拟 机 模板 镜像 。 带 有 _20 (或 其 他 数字 ) 后 组 的 文件 是 额外 挂 载 的 模板 镜像 。 


“ 另 一 类 是 很 多 目录 名 类 似 instance-xxxxx 的 子 目录 ， 每 个 目录 对 应 着 一 个 该 机 驻 留 的 虚拟 机 实例 ， 里 面 的 文件 和 _base 目 录 下 某 个 镜像 文件 存在 着 关联 ， 保 存 与 模板 镜像 之 间 的 差异 化 磁盘 数据 。 


所 有 /var/lib/nova/instances 下 的 目录 和 文件 名 都 是 独一无二 的 ， 可 以 将 这 些 目 录 复制 到 其 他 节点 上 ， 这 个 操作 不 会 覆盖 目标 已 经 运行 的 虚拟 机 实例 数据 
节点 永久 失效 ， 又 没 使 用 共享 存储 存放 虚拟 机 实例 数据 时 ， 还 是 可 以 考虑 的 。 


。 尽 管 这 不 是 官方 文档 支持 的 方法 ， 但 当 计 算 


10.1.3 网络 诊断 


1. 检 查 网 卡 状态 


在 各 个 计算 节点 上 ， 无 论 网 卡 是 否 被 启用 ， 都 可 以 使 用 “ip a” 命 令 来 查看 网 卡 的 信息 ， 例 如 IP 分 配 和 VLAN。 


在 遇 到 任何 网 络 问题 时 ， 检 查 网 卡 的 “健康 ”状况 都 是 首先 要 做 的 事情 ， 其 示例 代码 如 下 : 


$ ipa | grep state 

1: lo: «LOOPBACK,UP,LOWER UP» mtu 16436 qdisc noqueue state UNKNOWN 

2: eth0: «BROADCAST,MULTICAST,UP,LOWER UP» mtu 1500 qdisc pfifo fast state UP 
len 1000 

3. ethl: «BROADCAST,MULTICAST,UP,LOWER UP» mtu 1500 qdisc pfifo fast master 
br100 state UP qlen 1000 

4: virbr0: <NO-CARRIER, BROADCAST, MULTICAST, UP> mtu 1500 qdisc noqueue state 


DOWN 
6: br100: «BROADCAST,MULTICAST,UP,LOWER UP» mtu 1500 qdisc noqueue state UP 


可 以 忽略 virbr0， 因 为 它 是 由 QEMU 创 建 的 一 个 默认 网 桥 ，OpenStack 不 会 使 用 它 。 


2. 虚 拟 机 网 络 通路 


登录 到 虚拟 机 ，ping 外 网 ， 比 如 输入 google.com 时 ，ping 数 据 包 的 路 径 如 图 10-1 所 示 。 


1) 虚拟 机 会 产生 网 络 数据 包 ， 并 放 在 虚拟 机 内 部 虚拟 出 来 的 网 卡 中 ， 例 如 eth0。 


2) 数据 包 会 被 传递 到 宿主 机 中 的 虚拟 网 卡 中 ， 例 如 vnet1。 可 以 通过 查看 /etc/libvirt/qemuy/instance-xxxxxx.xml 来 得 到 与 虚拟 机 关联 的 虚拟 网 卡 设备 号 。 


3) 然后 ， 数 据 包 会 被 送 到 宿主 机 中 的 虚拟 网 桥 ， 例 如 br100 中 。 如 果 使 用 FlatDHCPManager 管 理 网 络 ， 宿 主机 上 只 有 一 个 网 桥 ; 如 果 使 用 VlanManager， 则 每 个 VLAN 都 会 有 一 个 网 桥 。 可 以 使 用 命 
“brctl show" 查看 虚拟 网 卡 使 用 的 网 桥 ， 也 可 以 浏览 nova.conf 里 的 flat_interface_option 配 置 来 查看 该 网 桥 。 


r 


4) 数据 包 会 进一步 发 送 到 宿主 机 的 物理 网 卡 上 。 同 上 ， 也 可 以 通过 brctl 命 令 或 者 flat interface_option 配 置 来 查看 该 网 卡 的 信息 。 


图 10-1 bing 数 据 包 的 路 径 


5) 当 数 据 包 从 宿主 机 发 送 到 网 关 以 后 ，Openstack 便 不 再 控制 它 的 流向 了 。 图 10-1 所 示 是 一 个 外 部 网 关 ， 但 在 默认 的 多 机 配置 中 ， 计 算 节 点 一 般 本 身 就 充当 了 网 关 的 角色 。 
上 述 流程 的 逆 过 程 即 是 ping 命 令 的 回复 路 径 。 
每 一 个 数据 包 都 经 过 了 4 个 虚拟 或 物理 的 网 络 设备 ， 其 中 任何 一 个 出 问题 ， 都 会 导致 网 络 故障 。 
3. 检 测 网 络 
使 用 ping 命 令 是 快速 检测 网 络 是 否 正常 的 方法 。 如 果 能 成 功 ping 通 外 部 网 络 ， 则 基本 可 以 证 明 网 络 是 没有 问题 的 。 
如 果 不 能 ping 通 外 部 网 络 ， 试 着 ping 一 下 虚拟 机 的 宿主 机 的 IP 地 址 。 如 果 能 ping 通 ， 那 么 说 明 问 题 可 能 出 现在 计算 节点 和 网 关 之 间 。 
如 果 宿 主机 的 IP 都 无 法 ping 通 ， 那 么 故障 很 可 能 出 现在 虚拟 机 和 宿主 机 之 间 ， 比 如 连接 虚拟 网 卡 和 物理 网 卡 的 网 桥 。 
最 后 ， 尝 试 在 本 机 的 两 个 虚拟 机 之 间 ping 一 下 。 如 果 成 功 ， 则 很 可 能 是 防火 墙 的 设置 出 现 了 问题 。 
(1) tcpdump 
另 一 个 很 不 错 的 办 法 就 是 用 tcpdump 在 整个 网 络 路 径 上 进行 诊断 ， 不 过 对 于 初学 者 这 可 能 有 些 困难 。 如 果 喜 欢 用 GUI 界面 ， 那 么 可 以 尝试 一 下 Wireshark。 


举 个 例子 ， 输 入 如 下 命令 : 


tcpdump -i any -n -v 'icmp[icmptype] = icmp-echoreply or icmp[icmptype] = icmp-echo' 


让 该 命令 分 别 运行 在 计算 节点 上 的 一 个 虚拟 机 、 计 算 节点 、Openstack 云 之 外 的 一 台 主机 上 。 
假设 它们 的 IP 地 址 分 别 为 : 


1) 虚拟 机 。 


10.0.2.24 
203.0.113.30 


2) 计算 节点 。 


10.0.0.42 
203.0.113.34 


3) 外 部 主机 。 


1:2:9:4 


在 虚拟 机 中 ping 运 行 有 tcpdump 的 外 部 主机 。 如 果 网 络 回路 没有 问题 ， 则 会 看 到 如 下 输出 : 


1) 外 部 主机 。 


12:51:42.020227 IP (tos 0x0, ttl 61, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 

203.0.113.30 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.020255 IP (tos 0x0, ttl 64, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 

1.2.3.4 » 203.0.113.30: ICMP echo reply, id 24895, seq 1, length 64 


2) 计算 节点 。 


12:51:42.019519 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 
10.0.2.24 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.019519 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 
10.0.2.24 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.019545 IP (tos 0x0, ttl 63, id 0, offset 0, flags [DF], proto ICMP 
(1), length 84) 
203.0.113.30 » 1.2.3.4: ICMP echo request, id 24895, seq 1, length 64 
12:51:42.019780 IP (tos 0x0, ttl 62, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 
1.2.3.4 » 203.0.113.30: ICMP echo reply, id 24895, seq 1, length 64 
12:51:42.019801 IP (tos 0x0, ttl 61, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 
1.2.3.4 » 10.0.2.24: ICMP echo reply, id 24895, seq 1, length 64 
12:51:42.019807 IP (tos 0x0, ttl 61, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 

1.2.3.4 » 10.0.2.24: ICMP echo reply, id 24895, seq 1, length 64 


3) 虚拟 机 。 


12:51:42.020974 IP (tos 0x0, ttl 61, id 8137, offset 0, flags [none], proto 
ICMP (1), length 84) 
1.2.3.4 » 10.0.2.24: ICMP echo reply, id 24895, seq 1, length 64 


这 些 输出 表明 ， 外 部 主机 收 到 了 一 个 ping 请 求 并 发 出 了 一 个 ping 响 应 。 计 算 节 点 让 ping 请 求 和 回应 成 功 通过 了 。 此 时 会 发 现 计算 节点 上 有 重复 的 数据 包 ， 这 是 因为 ttpdump 同 时 捕获 了 网 桥 和 物理 网 
卡 上 的 数据 包 。 


(2) iptables 


Nova 自 动 管理 iptables 设 置 ， 包 括 在 计算 节点 和 虚拟 机 之 间 转 发 数据 包 ， 浮 动 |P 的 数据 转发 ， 以 及 管理 安全 组 (security-group) . 


使 用 命令 “iptables-save” 可 以 查看 当前 的 iptables 配 置 。 


Qa È 如果 修改 了 iptables 的 配置 ， 下 次 重启 Nova 网 络 后 ， 修 改 会 被 撤销 。 因 此 ， 必 须 使 用 OpenStack 来 管理 iptables。 


4 管理 数据 库 中 的 网 络 配置 
Nova 数 据 库 中 有 以 下 几 个 表 保存 了 网 络 配置 的 相关 信息 。 
* fixed ips: 保存 着 分 配给 Nova 子 网 的 所 有 的 固定 IP 地 址 ， 它 通过 fixed_ips.instance_uuid 关 联 到 instance 表 。 
- floating ips: 保存 着 分 配给 Nova 子 网 的 所 有 的 浮动 IP 地 址 ， 它 通过 floating ips.fixed_ip 关 联 到 fixed_ips 表 。 


instance: 不 是 用 来 保存 网 络 相关 信息 的 ， 不 过 前 两 张 表 都 会 通过 实例 id 关联 到 该 表 。 


从 上 述 表 关系 可 以 了 解 到 ， 浮 动 |P 不 会 直接 关联 到 某 个 虚拟 机 实例 ， 需 要 通过 fixed ip 中 继 一 下 。 


有 时 虚拟 机 被 中 止 和 删除 以 后 ， 与 其 关联 的 |P 未 能 正确 释放 。 此 时 ， 由 于 数据 库 中 的 记录 一 致 性 缺失 ， 断 开 虚 拟 机 1P 关 联 的 工具 很 可 能 无 法 起 作用 。 这 时 需要 手动 更 新 数据 库 。 


首先 ， 找 到 该 虚拟 机 的 UUID， 其 代码 如 下 : 


mysql» select uuid from instances where hostname = 'hostname'; 


然后 ， 查 找 与 该 虚拟 机 关联 的 固定 IP， 其 代码 如 下 : 


mysql» select * from fixed ips where instance uuid = '«uuid»'; 


接着 ,继续 查找 所 关联 的 浮动 IP， 其 代码 如 下 : 


mysql» select * from floating ips where fixed ip id = '«fixed ip id>'7 


最 后 ， 手 动 删除 关联 信息 ， 其 代码 如 下 : 


mysql» update floating ips set fixed ip id = NULL, host = NULL where fixed ip id = 
'«fixed ip id>'; 


还 可 在 IP 池 中 释放 该 IP， 其 代码 如 下 : 


mysql» update floating ips set project id = NULL where fixed ip id -'«fixed ip id>'; 


5. 诊 断 DHCP 和 DNS 故障 


虚拟 机 启动 后 无 法 正常 通过 dnsmasq (由 Nova 的 网 络 服务 启动 ) 获取 IP 时 ， 该 如 何 处 理 呢 ? 


最 简单 的 方法 是 查看 虚拟 机 的 控制 台 输出 ， 其 代码 如 下 : 


$ nova console-log «instance name or uuid» 


如 果 虚 拟 机 无 法 从 DHCP 中 获取 IP， 那 么 控制 台 输 出 中 通常 会 有 某 些 信息 。 例 如 : 


udhcpc (v1.17.2) started 

Sending discoverhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
Sending discoverhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
Sending discoverhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14877/OEBPS/Text/... 
No lease, forking to background = 

starting DHCP forEthernet interface eth0 [ [1;32mOK[0;39m ] 


cloud-setup: checking http:// 169.254.169.254/2009-04-04/meta-data/instance-id 
wget: can't connect to remote host (169.254.169.254): Network is unreachable 


DHCP 错 误 可 能 是 dnsmasq 无 法 正常 工作 引起 的 。 最 简单 的 解决 办 法 是 停止 dnsmasq 进 程 ， 然 后 重新 启动 网 络 服务 ， 


代码 如 下 : 


# killall dnsmasq 
# restart nova-network 


查看 这 次 dnsmasq 是 否 正 常 的 代码 如 下 : 


# ps aux | grep dnsmasq 

nobody 3735 0.0 0.0 27540 1044 ? S 15:40 0:00 /usr/sbin/dnsmasq 
--strict-order 

--bind-interfaces --conf-file- 

—-domain-novalocal 
-—-pid-file-/var/lib/nova/networks/nova-br100.pid 
--listen-address-192.168.100.1 

--except-interface-lo 
--dhcp-range-set:'novanetwork',192.168.100.2,static,120s 
--dhcp-lease-max-256 
--dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
—-dhcp-script-/usr/bin/nova-dhcpbridge 

--leasefile-ro root 3736 0.0 0.0 27512 444 ? S 15:40 0:00 /usr/sbin/dnsmasq 
--strict-order 

--bind-interfaces --conf-file- 

-—-domain-novalocal 
--pid-file-/var/lib/nova/networks/nova-br100.pid 
--listen-address-192.168.100.1 

--except-interface-lo 

--dhcp-range-set: 'novanetwork',192.168.100.2,static,120s 
--dhcp-lease-max-256 
-—-dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
--dhcp-script-/usr/bin/nova-dhcpbridge --leasefile-ro 


如 果 虚 拟 机 仍 无 法 获取 IP， 那 么 查看 dnsmasq 是 否 可 以 收 到 DHCP 请 求 。 查 看 宿主 机 上 /var/log/syslog 中 的 dnsmasq 相 关 日 志 。 若 dnsmasq 正 常 工 作 ， 可 看 到 类 似 下 面 这 样 的 信息 : 


Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPDISCOVER (br100) 
fa:16:3e:56:0b:6f 

Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPOFFER(br100) 192.168.100.3 
fa:16:3e:56:0b:6f 

Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPREQUEST (br100) 192.168.100.3 
fa:16:3e:56:0b:6f 

Feb 27 22:01:36 mynode dnsmasq-dhcp[2438]: DHCPACK(br100) 192.168.100.3 
fa:16:3e:56:0b:6f test 


如 果 没 有 看 到 DHCPDISCOVER 的 信息 ， 那 么 很 可 能 是 从 虚拟 机 到 宿主 机 的 网 路 通路 存在 问题 。 如 果 上 述 所 有 日 志 都 正常 但 依旧 无 法 获取 IP， 则 问题 可 能 出 在 数据 包 的 返程 上 。 


如 果 看 到 以 下 输出 : 


Feb 27 22:01:36 mynode dnsmasq-dhcp[25435]: DHCPDISCOVER (br100) 
fa:16:3e:78:44:84 no address available 


则 表明 DHCP 服 务 已 经 没有 剩余 的 IP 可 供 分 配 了 。 


如 果 看 不 到 dnsmasq 的 日 志 输 出 ， 则 


需要 查看 dnsmasq 信 息 本 身 的 状态 ， 命 令 如 下 : 


$ ps aux | grep dnsmasq 

108 1695 0.0 0.0 25972 1000 ? S Feb26 0:00 /usr/sbin/dnsmasq -u libvirtdnsmasq 
--strict-order --bind-interfaces 
--pid-file-/var/run/libvirt/network/default.pid 

--conf-file- --exceptinterface 

lo --listen-address 192.168.122.1 

--dhcp-range 192.168.122.2,192.168.122.254 
—-dhcp-leasefile-/var/lib/libvirt/dnsmasq/default.leases 
--dhcp-lease-max-253 --dhcp-no-override 

nobody 2438 0.0 0.0 27540 1096 ? S Feb26 0:00 /usr/sbin/dnsmasq 
--strict-order 

--bind-interfaces --conf-file- 

-—-domain-novalocal 

-—-pid-file-/var/lib/nova/networks/nova-br100.pid 

--listenaddress- 

192.168.100.1 

--except-interface-lo --dhcp-range-set: 'novanetwork',192.168.100.2,static, 
120s --dhcp-lease-max-256 
--dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
--dhcp-script-/usr/bin/nova-dhcpbridge --leasefile-ro 

root 2439 0.0 0.0 27512 472 ? S Feb26 0:00 /usr/sbin/dnsmasq 
--strict-order --bind-interfaces --conf-file- 

—-domain-novalocal 

-—-pid-file-/var/lib/nova/networks/nova-br100.pid 

--listenaddress- 

192.168.100.1 

-—-except-interface-lo 
--dhcp-range-set:'novanetwork',192.168.100.2,static,120s --dhcp-lease-max-256 
-—-dhcp-hostsfile-/var/lib/nova/networks/nova-br100.conf 
--dhcp-script-/usr/bin/nova-dhcpbridge --leasefile-ro 


如 果 dnsmasq 本 身 没 有 任何 问题 ， 那 么 只 能 使 用 tcpdump 逐 一 诊断 网 络 看 是 哪 一 部 分 丢失 了 DHCP 请 求 。DHCP 是 UDP 请 求 ， 从 客户 端的 68 端 口 发 送 到 DHCP 服 务 端 的 67 端 


然后 监听 所 有 虚拟 网 卡 和 物理 网 卡 ， 看 看 哪个 没有 收 到 该 UDP 包 ， 其 代码 如 下 : 


。 斌 外 


启动 一 台 虚拟 机 ， 


# tcpdump -i br100 -n port 67 or port 68 


当然 ， 在 此 之 前 需 "ip a” 和 “brctl” 命 令 确认 所 有 物理 /虚拟 网 卡 是 否 正常 工作 ， 以 及 是 否 正确 配置 。 


如 果 可 以 通过 SSH 登 录 到 虚拟 机 ， 但 很 久 才 出 现 提示 符 ， 则 可 能 是 DNS 服务 出 了 问题 ， 因 为 SSH 


验证 的 方法 很 简单 ， 随 便 查询 一 个 


机 名 看 是 否 成 功 即 可 ， 其 示例 代码 如 下 : 


机 会 对 该 IP 做 一 个 反 向 DNS 查询 ， 假 使 DNS 服务 无 法 正常 工作 ，SSH 必 须 等 DNS 请 求 超时 后 才 会 继 


$ host openstack.org 

openstack.org has address 174.143.194.225 
openstack.org mail is handled by 10 mxl.emailsrvr.com. 
openstack.org mail is handled by 20 mx2.emailsrvr.com. 


也 可 以 使 用 下 面 的 方法 : 


$ ping openstack.org 
PING openstack.org (174.143.194.225): 56 data bytes 


如 果 DNS 服 务实 效 ， 则 可 以 看 到 : 


$ ping openstack.org 
ping: bad address 'openstack.org' 


在 OpenStack 中 ，dnsmasq 充 当 着 DNS 服务 器 的 角色 。dnsmasq 无 法 正常 工作 就 会 导致 DNS 服务 无 法 工作 。 可 以 用 上 文 所 述 的 方法 验证 和 修复 dnsmasq 服 务 。 


如 果 修复 后 仍旧 无 法 解决 问题 ， 那 么 只 能 用 tcpdump 来 诊断 了 。DNS 服 务 器 在 53 端 口 监听 UDP 请 求 包 ， 可 以 在 计算 节点 上 监视 网 桥 发 来 的 UDP 请 求 ， 其 代码 如 下 : 


# tcpdump -i brl00 -n -v udp port 53 
tcpdump: listening on br100, link-type EN10MB (Ethernet), capture size 65535 
bytes 


此 时 ， 在 虚拟 机 中 ping 一 下 openstack.org， 则 会 看 到 如 下 输出 : 


16:36:18.807518 IP (tos 0x0, ttl 64, id 56057, offset 0, flags [DF], proto UDP 
(17), length 59) 

192.168.100.4.54244 > 192.168.100.1.53: 2+ A? openstack.org. (31) 
16:36:18.808285 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto UDP 
(17), length 75) 

192.168.100.1.53 » 192.168.100.4.54244: 2 1/0/0 openstack.org. A 174.143.194. 
225 (47) 


102 标准 化 修复 与 例 行 检查 流程 


102.1 ”标准 化 修复 


当 某 个 系统 发 生 整 体 错误 (而 不 是 单 点 错误 或 无 法 诊断 具体 出 错 点 ) 时 ， 如 断 电 ， 一 种 通行 的 做 法 是 对 每 种 服务 分 配 一 个 优先 级 ， 然 后 按照 优先 级 依次 恢复 这 些 服务 。 例 如 ， 像 表 10-1 那 样 分 配 优先 级 


表 10-1 优先 级 别 分 配 表 


优 先 级 分 配 内 容 


1 内 网 连通 性 
2 备份 设 各 
从 公 网 到 用 户 虚拟 机 的 网 络 连 通 性 
4 nova-compute, nova-network, cinder-volume 
5 用 户 虚 拟 机 
10 消息 服务 (AMQP) 和 数据 库 服 务 
15 Keystone 认证 服务 
20 cinder-scheduler 
21 镜像 服务 
22 nova-scheduler 服务 
98 cinder-api 服务 
99 nova-api 服务 
100 控制 面板 


使 用 以 上 表单 ， 让 失效 的 服务 或 用 户 受 到 影响 的 服务 尽快 恢复 ， 并 保证 更 高 优先 级 的 服务 已 经 能 够 稳定 运行 。 在 表 10-1 中 ， 尽 管 每 种 服务 只 列 了 一 行 ， 但 是 恢复 它 可 能 意味 相当 大 的 工作 量 。 例 如 ， 恢 
复数 据 库 服务 时 ， 需 要 验证 数据 的 一 致 性 ， 或 者 在 启动 Nova 服 务 后 去 数据 库 里 查验 虚拟 机 信息 在 数据 表 中 是 否 存在 不 一 致 性 问题 。 


10.2.2” 例 行 检 查 


下 面 列 出 每 小 时 、 每 天 、 每 周 、 每 月 (也 可 能 包括 每 季度 ) 和 每 年 (也 可 能 包括 每 半年 ) 例 行 系统 健康 检查 (HDWMY， 即 Hourly，Daily，Weekly，Monthly，Yearly) 的 项 目 ， 这 些 项 目 都 是 建议 
性 的 ， 并 不 需要 读者 严格 遵守 。 


“ 每 小 时 : 检验 系统 警告 并 做 相应 处 理 ; 检查 用 户 的 投诉 邮件 。 

ER: 检验 失效 的 或 处 于 非 正常 状态 的 虚拟 机 ， 并 调查 原因 ; 搜索 最 新 的 安全 补丁 并 及 时 修复 。 

DES: 检验 系统 用 量 (Quota) ， 包 括 用 户 剩 余 配额 、 磁 盘 剩余 配 额 、 镜 像 剩余 配额 、 重 量 级 虚拟 机 、 网 络 用 量 (带宽 和 IP 地 址 数目 ) ; 确认 警告 系统 工作 正常 。 
“ 每 月 : 统计 本 月 系统 用 量 和 增长 趋势 ; 查验 “僵尸 ” (不 活跃 ) 用 户 ; 关闭 不 活跃 的 管理 员 账 号 。 

“ 每 季度 : 统计 本 季度 系统 用 量 和 增长 趋势 ; 进行 各 项 数据 统计 ; 制定 必要 的 系统 扩容 计划 ; 查看 并 计划 必要 的 OpenStack 更 新 。 


| 每 半年 : 升级 OpenStack 版 本 ; 升级 后 做 必要 的 系统 清理 (停止 废弃 的 服务 ， 删 除 或 更 新 配置 文件 ) 。 


103 ”日志 与 监控 


10.3.1 定位 错误 


Openstack 集 合 了 各 种 各 样 的 系统 组 件 ， 彼 此 之 间 互 相 调 用 。 例 如 ， 上 传 一 个 镜像 就 需要 nova-api、glance-api、glance-registry、Keystone， 甚 至 swift-proxy 之 间 的 交互 。 因 此 ， 有 时 较 难 定位 出 


现 错误 的 组 件 到 底 是 哪个 。 


代码 如 下 : 


第 一 个 可 以 去 查验 的 就 是 与 调用 直接 相关 的 日 志 。 例 如 ， 如 果 “nova list” 命 令 调 用 失败 ， 则 查看 最 新 的 若干 条 Nova 日 志 ， 


# nova list 
# tail -f /var/log/nova/nova-api.log 


如 果 发 现 错误 和 其 他 组 件 有 关 ， 则 继续 查看 相关 组 件 的 日 志 。 例 如 ， 若 日 志 显示 错误 是 Nova 无 法 访问 Glance， 则 应 查看 glance-api 的 日 志 ， 其 代码 如 下 : 


# nova list 
# tail -f /var/log/glance/api.log 


但 是 有 些 时 候 ， 从 日 志 中 很 难 一 眼看 出 出 错 的 根源 。 这 时 需要 调整 ， 直 接 在 命令 行 运行 组 件 的 服务 进行 查看 。 例 如 ，glance-api 无 法 正常 启动 ， 就 直接 运行 Glance 的 daemon 程 序 ， 其 代码 如 下 : 


# sudo -u glance -H glance-api 


这 样 ， 可 能 就 会 看 到 打印 出 来 的 一 些 隐藏 错误 信息 。 


Qi 用 sudo 运 行 daemon 程 序 ， 需 要 加 上 -H 参 数 ， 因 为 有 些 daemon 程 序 会 读 写 用 户 home 目 录 下 的 一 些 文件 ， 如 果 没 有 打开 -HH 参数 ， 则 可 能 导致 执行 失败 。 


举 个 例子 ， 有 一 次 笔者 发 现 某 个 计算 节点 上 所 有 的 虚拟 机 都 无 法 运行 了 ， 日 志文 件 却 没 发 现任 何 有 用 的 信息 ， 仪 报告 说 实例 无 法 运行 ， 进 一 步调 查 发 现 libvirt 根 本 就 无 法 运行 。 很 明显 ，libvirt 不 正常 则 


所 有 的 KVM 虚 拟 机 自然 无 法 启动 。 尝 试 重新 启动 libvirt， 但 依旧 失败 ， 日 志 里 也 没有 具体 的 信息 。 最 后 在 命令 行 运行 libvirt， 终 于 看 到 一 条 有 用 的 错误 信息 : 
进程 间 通 信服 务 。 重 新 启动 d-bus 后 Nova 便 恢复 正常 了 。 


“无 法 连接 到 d-bus”。d-bus 是 libvirt 依 赖 的 


Qi 在 某 些 情况 下 ， 系 统 级 别 的 非 正常 配置 导致 的 错误 ， 可 能 所 有 上 日志 都 没有 记录 到 异常 信息 。 例 如 ， 控 制 节点 与 计算 节点 或 存储 节点 上 的 时 间 不 一 致 ， 这 时 需 确 保 NTP 服 务 正 常 运 行 ， 或 者 手动 


调整 各 节点 上 的 时 间 。 


10.3.2 RAT 


1. 日 志 的 位 


在 Ubuntu 或 其 他 Linux 版 本 中 ， 大 部 分 日 志文 件 都 存放 于 /varvlog 子 目录 下 。 


对 于 控制 节点 ， 日 志文 件 位 置 见 表 10-2。 


表 10-2 控制 节点 的 日 志文 件 位 置 


R s NE: 
nova-* /var/log/nova Keystone 

glance-* /var/log/glance 
cinder-* /var/log/cinder lL | 


计算 节点 的 日 志文 件 存放 在 以 下 目录 中 。 
* libvirt 的 日 志 : /var/log/libvirt/libvirtd.log。 
- 虚拟 机 实例 启动 日 志 : /var/lib/nova/instances/instance-/console.id » 


在 存储 节点 上 ，Cinder 的 日 志 位 于 /var/log/cinder/cinder-volume.log 中 。 


2. 日 志 的 查看 


OpenStack 使 用 的 是 标准 的 日 志 级 别 ， 即 DEBUG、INFO、AUDIT、WARNING、ERROR、CRITICAL、TRACE， 这 意味 着 只 有 比 预 先 定义 的 级 别 更 高 的 


对 于 Nova， 可 以 通过 在 /etc/nova/nova.conf 里 设置 “debug=false” 来 禁用 调试 信息 。 


Keystone 相 对 来 说 比较 独特 ， 需 要 在 /etc/keystone/logging.conf 里 修改 logger_root 和 handler file 来 设置 日 志 级 别 。 


Horizon 的 日 志 配 置 在 /etc/openstack dashboard/local_settings.py 里 ， 它 是 一 个 Django 应 用 ， 遵 循 的 是 Diango 的 日 志 风格 。 


一 般 来 说 ， 定 位 错误 的 第 一 步 就 是 从 这 些 日 志文 件 的 末尾 开始 查找 CRITICAL、TRACE、ERROR 等 关键 字 。 


例如 ， 下 面 一 个 CRITICAL 日 志 显示 的 TRACE 信息 : 


日 志文 件 位 置 
/var/log/keystone 


/var/log/apache2/ 


志 信息 才 会 被 记录 下 来 。 


2013-02-25 21:05:51 17409 CRITICAL cinder [-] Bad or unexpected response from 
the storage volume 

backend API: volume group 

cinder-volumes doesn't exist 

2013-02-25 21:05:51 17409 TRACE cinder Traceback (most recent call last): 


2013-02-25 21:05:51 17409 TRACE cinder File 

"/usr/bin/cinder-volume", line 48, in «module» 

2013-02-25 21:05:51 17409 TRACE cinder service.wait() 

2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/cinder/service.py", line 

422, in wait 

2013-02-25 21:05:51 17409 TRACE cinder launcher.wait() 

2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/cinder/service.py", line 

127, in wait 

2013-02-25 21:05:51 17409 TRACE cinder service.wait() 

2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/eventlet/greenthread. 

py", line 166, in wait 

2013-02-25 21:05:51 17409 TRACE cinder return self. exit event.wait() 
2013-02-25 21:05:51 17409 TRACE cinder File d " 
"/usr/lib/python2.7/dist-packages/eventlet/event.py", line 

116, in wait 

2013-02-25 21:05:51 17409 TRACE cinder return hubs.get hub().switch() 
2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/eventlet/hubs/hub.py", 

line 177, in switch 

2013-02-25 21:05:51 17409 TRACE cinder return self.greenlet.switch() 
2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/eventlet/greenthread. 

py", line 192, in main 

2013-02-25 21:05:51 17409 TRACE cinder result - function(*args, **kwargs) 
2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/cinder/service.py", line 

88, in run server 

2013-02-25 21:05:51 17409 TRACE cinder server.start() 

2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/cinder/service.py", line 

159, in start 

2013-02-25 21:05:51 17409 TRACE cinder self.manager.init host () 
2013-02-25 21:05:51 17409 TRACE cinder File 
"/usr/lib/python2.7/dist-packages/cinder/volume/manager. 

py", line 95, 

in init host 

2013-02-25 21:05:51 17409 TRACE cinder self.driver.check for setup error() 
2013-02-25 21:05:51 17409 TRACE cinder File — T 
"/usr/lib/python2.7/dist-packages/cinder/volume/driver. 

py", line 116, 

in check for setup error 

2013-02-25 21:05:51 17409 TRACE cinder raise exception. 
VolumeBackendAPIException (data-exception message) 

2013-02-25 21:05:51 17409 TRACE cinder 

VolumeBackendAPIException: Bad or unexpected response from the storage volume 
backend API: volume group cinder-volumes doesn't exist 


上 述 代码 显示 cinder-volume 无 法 启动 ， 并 提供 了 TRACE 跟踪 信息 。TRACE 信 息 表明 volume 指 向 的 后 端 存储 无 法 提供 服务 。 这 也 许 是 因为 volume 中 设置 的 LVM 虚 拟 卷 并 不 存在 。 


下 面 是 另 一 个 ERROR 日 志 的 示例 : 


2013-02-25 20:26:33 6619 ERROR nova.openstack.common.rpc.common [-] AMOP 
server on localhost:5672 is unreachable: 
[Errno 111] ECONNREFUSED. Trying again in 23 seconds. 


该 日 志 提示 Nova 无 法 连接 到 RabbitMQ 服 务 ， 连 接 被 拒绝 。 此 时 ， 可 以 查看 RabbitMQ 服 务 是 否 正常 启动 ， 防 火 墙 是 否 阻止 连接 端口 。 


3. 进 一 步 跟 踪 


当 虚 拟 机 发 生 错误 时 ， 需 要 同时 在 控制 节点 和 计算 节点 的 各 个 日 志文 件 里 搜索 跟 该 虚拟 机 相关 的 活动 。 


比较 好 的 办 法 就 是 以 虚拟 机 的 UUID 为 线索 去 关联 日 志 里 的 信息 ， 其 示例 代码 如 下 : 


的 


ubuntulinitial:~$ nova list 

He 十 4-------- 十 一 一 一 一 一 一 一 -一 一 一 一 一 -一 一 一 一 -一 一 一 -一 -一 4 
| ID | Name | Status | Networks | 

+- -+ 
| faf7ded8-4a46-413b-b113-f19590746ffe | cirros | ACTIVE | novanetwor 2.168.100.3 | 
二 一 一 4-------- 4-------- 十 一 -一 一 一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 + 


查 到 虚拟 机 的 UUID 是 faf7ded8-4a46-413b-b113-f19590746ffe 后 ， 在 控制 节点 的 /var/log/nova-*.log 中 搜索 该 UUID 号 ， 发 现 它 出 现在 nova-api、nova-scheduler.log 中 ; 而 在 计算 节点 


有 提供 什么 线索 。 


自 定义 日 志 


如 果 现 有 的 日 志 无 法 提供 足够 的 信息 ， 那 么 可 以 在 nova-* 等 服务 中 加 入 自己 的 日 志 信息 。 


与 Nova 有 关 的 源 文件 位 于 /usr/lib/python2.7/dist-packages/nova/ 中 。 


修改 源 文件 时 ， 确 保 Iog 库 已 经 包含 进来 了 ， 其 代码 如 下 : 


/Var/log/nova-*.log 中 搜索 该 UUID 号 ， 发 现 它 出 现在 nova-network.log 和 nova-compute.log 中 。 如 果 没 有 发 现 相 关 的 ERROR 或 CRITICAL 人 信息， 则 可 查看 与 该 UUID 关 联 的 最 新 的 几 条 日 志 ， 看 看 有 没 


from nova.openstack.common import log as logging 
LOG = logging.getLogger( name ) 


Qs. ”站 本 上 大 部 分 源 文 件 已 经 包含 了 这 些 定义 。 


然后 在 合适 的 地 方 加 入 日 志 信息 ， 例 如 : 


LOG.debug("This is a a debugging statement for XXX") 


顺便 说 一 下 ，OpensStack 里 已 有 的 日 志 信 息 都 被 ”() ”这样 一 个 “奇怪 ”的 括号 包 


化 的 。 当 然 ， 如 果 想 把 代码 贡献 给 社区 ， 那 么 最 好 还 是 加 上 。 


5. 查 看 RabbitM Q 消 息 


gettext 函数 对 


H 


际 化 后 产生 的 。 对 于 读者 


一 般 来 说 ， 除 了 连接 被 拒绝 这 样 显而易见 的 错误 ，RabbitMQ 的 日 志 信 息 对 于 调试 来 说 没什么 帮助 。 推 荐 用 RabbitMQ 的 Web 界 面 来 查看 。 


通过 以 下 命令 在 控制 节点 上 启动 该 界面 : 


己 添加 的 


志 ， 一 般 是 没有 必要 去 进行 国际 


# /usr/lib/rabbitmg/bin/rabbitmq-plugins enable rabbitmq management 
# service rabbitmq-server restart 


然后 就 可 以 通过 http:Wlocalhost:55672 进 入 RabbitM Q 管 理 界面 了 。 
@ it 如果 端口 号 55672 无 法 连接 ， 可 以 试 试 端口 号 15672。 


RabbitMQ 监 控 的 信息 包括 每 个 队列 的 消息 数量 和 处 理 的 时 间 。 


10.3.3 ”集中 管理 日 志 


如 果 Openstack 群 集 的 数量 比较 多 ， 一 个 个 去 查看 每 台 机 器 上 的 日 志文 件 势必 费时 费力 ， 比 较 好 的 办 法 是 把 所 有 服务 器 上 的 日 志 发 送 到 一 个 集中 的 位 置 。 


Ubuntu 使 用 rsyslog 作 为 默认 的 日 志 服务 ， 它 本 身 可 以 将 日 志 发 送 到 远程 位 置 ， 仪 需要 修改 配置 文件 即 可 ， 不 过 需要 考虑 日 志 的 流量 使 用 专 有 的 管理 网 络 或 者 经 由 VPN 传 输 ， 以 避免 被 非法 截获 。 


1.rsyslog 在 客户 端的 配置 


首先 ， 确 保 Openstack 的 各 个 服务 将 日 志 发 送 至 syslog， 而 不 是 仅仅 存放 在 本 地 日 志文 件 中 。 同 时 ， 最 好 让 不 同 的 服务 发 送 到 不 同 syslog 位 置 (log facility) ， 以 便于 区 分 和 查看 。 其 代码 如 下 : 


[nova.conf] 

use syslog-True 

syslog log facility-LOG LOCALO 
[glance-api.conf] 

fil [gLance-registry.conf] 

use syslog-True 

syslog log facility-LOG LOCALI 
[cinder.conf] g 
use_syslog=True 

syslog log facility-LOG LOCAL2 
[keystone.conf] 

use syslog-True 

syslog log facility-LOG LOCAL3 


Swift 则 默认 为 已 经 发 送 到 syslog 了 。 


最 后 ， 创 建 /etc/rsyslog.d/client.conf 并 加 入 : 


*.* Q192.168.1.10 


这 是 让 rsyslog 将 所 有 日 志 发 送 到 192.168.1.10 服 务 器 上 。 


2.rsyslog 在 服务 端的 配置 


比较 好 的 方法 是 单独 分 配 一 台 服务 器 作为 日 志 服务 器 。 然 后 ， 创 建 配 置 文件 /etc/rsyslog.d/server.conf， 内 容 为 : 


# Enable UDP 

$ModLoad imudp 

# Listen on 192.168.1.10 only 

SUDPServerAddress 192.168.1.10 

# Port 514 

SUDPServerRun 514 

# Create logging templates for nova 

$template NovaFile, "/var/log/rsyslog/$HOSTNAMES/nova.log" 
$template NovaAll, "/var/log/rsyslog/nova.log" 

# Log everything else to syslog.log 

$template DynFile, "/var/log/rsyslog/$HOSTNAMES/syslog.log" 
*.* ?DynFile 

# Log various openstack components to their own individual file 
local0.* ?NovaFile 

local0.* ?NovaAll 


上 例 仅 配置 了 接收 Nova 的 日 志 。 首 先 ， 它 让 rsyslog 监 听 51 端 口 ， 然 后 创建 了 一 系列 日 志 模 板 ， 模 板 指定 了 收 到 的 日 志 存放 在 哪个 位 置 。 例 如 ， 从 c01.example.com 收 到 的 Nova 日 志 将 存放 在 如 下 两 个 
文件 里 : 


/var/log/rsyslog/c01 .example.com/nova.1og 
/var/log/rsyslog/nova.log 


从 c02.example.com 收 到 的 Nova 日 志 则 存放 在 : 


/var/log/rsyslog/c02.example.com/nova.log 
/var/log/rsyslog/nova.log 


这 样 ， 既 可 以 单独 查看 某 台 机 器 的 Nova 日 志 ， 也 可 以 集中 查看 所 有 节点 的 Nova 日 志 。 


除了 rsyslog， 还 可 以 使 用 StacRTach 或 Splunk 集 中 管理 日 志 。 相 关 的 内 容 不 属于 本 书 的 范畴 。 


10.34 监控 


1. 进 程 监控 


最 基本 的 服务 监控 就 是 查看 相关 的 进程 是 否 正 常 运行 。 例 如 ， 查 看 控制 节点 上 nova-api 是 否 运 行 ， 其 代码 如 下 : 


[ root@cloud ~ ] # ps aux | grep nova-api 

nova 12786 0.0 0.0 37952 1312 ? Ss Febll 0:00 su -s /bin/sh -c exec nova-api 
-—-config-file-/etc/nova/nova.conf nova 

nova 12787 0.0 0.1 135764 57400 ? S Febll 0:01 /usr/bin/python /usr/bin/novaapi 
--config-file-/etc/nova/nova.conf 

nova 12792 0.0 0.0 96052 22856 ? S Febll 0:01 /usr/bin/python /usr/bin/novaapi 
--config-file-/etc/nova/nova.conf 

nova 12793 0.0 0.3 290688 115516 ? S Febll 1:23 /usr/bin/python /usr/bin/novaapi 
--config-file-/etc/nova/nova.conf 

nova 12794 0.0 0.2 248636 77068 ? S Febll 0:04 /usr/bin/python /usr/bin/novaapi 
--config-file-/etc/nova/nova.conf 

root 24121 0.0 0.0 11688 912 pts/5 S+ 13:07 0:00 grep nova-api 


可 以 使 用 Nagios 和 NRPE 自 动 化 监控 重要 的 进程 。 例 如 ， 在 Nagios 服 务 器 上 创建 以 下 警告 ， 监 控 所 有 计算 节点 上 的 nova-compute 进 程 。 


define service { 

host name c01 .example.com 

check command check nrpe larg!check nova-compute 
use generic-service . 7 T 
notification period 24x7 

contact_groups sysadmins 

service_description nova-compute 


l 


在 目标 计算 节点 上 ， 创 建 以 上 NRPE 配 置 : 


command[check nova-compute]-/usr/lib/nagios/plugins/check procs -c 1: -a novacompute 


这 样 ，Nagios 就 会 监控 以 确保 这 台 机 器 上 始终 至 少 有 一 个 nova-compute 进 程 在 运行 。 


2 .资源 预警 


资源 预警 能 够 在 一 个 或 多 个 资源 非常 紧张 的 情况 下 发 出 警告 。 当 然 ， 这 需要 根据 OpenStack 环 境 指定 对 应 的 资源 预警 闪 值 。 
需要 监控 的 资源 包括 : 

“ 磁盘 用 量 

“ 服务 器 负载 

ELLE: 

EL: 

“ 可 用 的 vCPU 数 目 


例如 以 下 NRPE 配 置 : 


command[check all disks]-/usr/lib/nagios/plugins/check disk 
-w SARG1$ -c 
$ARG2$ -e 


它 会 在 计算 节点 负载 达到 80% 时 ， 记 录 一 个 WARNING 日 志 ， 并 在 负载 达到 90% 时 记录 一 个 CRITICAL 日 志 。 


内 存 、 磁 盘 、CPU 这 些 计算 资源 除了 传统 的 监控 意义 外 ， 在 OpenStack 里 ， 它 还 直接 关系 到 是 否 可 以 给 虚拟 机 分 配 所 需 的 资源 ， 以 保证 它们 的 启动 。 


有 很 多 种 方式 可 以 查看 OpenStack 资 源 用 量 。 首 先 可 以 使 用 “nova usage-list” 命 令 查看 一 个 tenant 上 有 多 少 虚 拟 机 实例 在 运行 。 这 条 命令 可 以 给 出 一 个 概览 ， 但 无 法 提供 更 详细 的 信息 。 


其 次 ，Nova 数 据 库 中 也 有 资源 用 量 相关 的 数据 。nova.quotas 和 nova.quota_usages 保 存 了 配额 用 量 信息 。 如 果 某 个 tenant 的 配额 设置 与 默认 配置 不 一 样 ， 那 么 它 的 quota 配 置 会 被 记录 在 
nova.quota 表 中 。 例 如 : 


mysql» select project id, resource, hard limit from quotas; 


C 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 -一 一 一 十 一 一 一 一 一 一 一 -一 一 
十 

project id | resource | hard limit 
LOS AME 0 LAB —— — — m — 
十 


628df59f091142399e0689a2696f5baa | metadata items | 128 
628df59£091142399e0689a2696f5baa | injected file content bytes | 10240 
628d£59£091142399e0689a2696f5baa | injected files | 5 
628df59f091142399e0689a2696f5baa | gigabytes | 1000 
628df£59f091142399e0689a2696f5baa | ram | 51200 
628df59f091142399e0689a2696f5baa | floating ips | 10 
628df£59£091142399e0689a2696f5baa instances | 10 


628df£59f091142399e0689a2696f5baa | volumes | 10 


628df£59f091142399e0689a2696f5baa | cores | 20 


十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4----- 


nova.quota_usages 保 存 着 tenant 租 户 的 实际 资源 用 量 ， 例 如 : 


mysql» select project id, resource, in use from quota usages where project id 
like '628$'; 


628d£59£091142399e0689a2696f5baa 
628d£59£091142399e0689a2696f5baa 
628df£59£091142399e0689a2696f5baa 


instances | 1 | 
ram | 512 | 
cores | 1 | 


628d£59£091142399e0689a2696f5baa 
628df£59£091142399e0689a2696f5baa 
628df£59£091142399e0689a2696f5baa 


volumes | 2 | 

gigabytes | 12 | 

images | 1 | 
-------------- 二 -一 一 一 一 一 一 一 十 


| l 
| l 
| l 
| 6288df£59f£091142399e0689a2696f5baa | floating ips | 1 | 
| l 
| l 
| l 
4 


对 比 这 两 张 表 中 的 数据 ， 可 以 推算 出 资源 的 占用 比例 如 下 : 


十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4------------ 4------------- 
| some tenant 

4----- 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 4------------ 4------------- 
| Resource | Used | Limit | 

二 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 十 一 -一 -一 -一 -一 -一 -一 


| cores | 1 | 201 5 $ 

| floating ips | 1 | 10 | 10 $ 

| gigabytes | 12 | 1000 | 1 $ 

| images | 11 4 | 25 $ 

| injected file content bytes | 0 | 10240 | 0 $ 
| injected file path bytes | 0 | 255 | 0 % 


injected files | 0 1 5 1 0 € 
instances | 1 | 10 | 10 $ 

key pairs | 0 | 100 | 0 $ 

metadata items | 0 | 128 | 0 $ 

ram | 512 | 51200 | 1 $ 

reservation expire | 0 | 86400 | 0 $ 
security group rules 1012010% 
security groups | 0 | 10 1 0% 
volumes | 2 | 10 | 


Qi. 生成 该 报告 的 脚本 在 https://github.com/cybera/novac/blob/dev/libexec/novac-quota-report 中 可 以 找到 。 


为 了 确保 系统 服务 的 整体 可 用 性 ， 需 要 检验 一 系列 操作 是 否 正 常 运行 。 例 如 ， 为 了 确保 Glance 服 务 的 “健康 ”状态 ， 要 验证 glance-api 和 glance-registry 进 程 是 否 正 在 运行 ， 同 时 glance-api 是 否 响 应 
了 9292 端 口 的 请 求 。 


进行 这 类 智能 预警 需要 花费 大 量 的 时 间 来 规划 和 实现 ， 在 此 建议 : 
1) 收集 OpenStack 云 中 最 常用 的 操作 。 


2) 创建 自动 化 测试 脚本 重复 这 些 操作 。 


3) 在 生产 环境 中 定时 运行 这 些 自动 化 测试 脚本 。 


3. 趋 势 预 判 


识别 资源 占用 的 趋势 能 让 用 户 清晰 地 了 解 OpenStack 云 的 日 常 表现 。 例 如 ， 资 源 紧 张 是 只 在 某 些 特定 的 场合 发 生 ， 还 是 应 该 增加 新 硬件 。 


趋势 预 判 和 资源 预警 稍 有 不 同 ， 资 源 预警 关心 的 是 简单 的 对 错 问题 ， 而 趋势 预 判 记录 的 是 某 类 指标 在 某 个 时 间 点 上 的 状态 。 例 如 : 
. Flavor 的 数量 

. 在 用 的 虚拟 机 数量 

“在 用 的 Volume 数 量 

. 每 小 时 向 Swift 请 求 的 对 象 数量 

.每 小 时 发 出 的 nova-api 请 求 数量 

. 存储 后 端 收 到 的 I/O 请 求 数量 


例如 ， 记 录 nova-api 的 请 求 数量 可 以 预计 什么 时 候 应 该 扩展 控制 节点 处 理 能 力 。 可 以 通过 以 下 命令 大 概 估计 请 求 的 数量 : 


# grep INFO /var/log/nova/nova-api.log | wc 


或 者 统计 成 功 返 回 的 请 求 数量 : 


# grep " 200 " /var/log/nova/nova-api.log | wc 


将 这 些 数据 绘 成 图 表 ， 然 后 依 此 判断 : 是 启动 更 多 的 nova-api 服 务 ， 还 是 增加 新 的 控制 节点 机 器 ? 


可 以 利用 诸如 collectd 这 样 的 工具 来 汇集 这 些 统计 数字 。 


104 备份 与 恢复 


在 大 部 分 情况 下 ， 应 该 在 设计 OpenStack 云 时 就 考虑 系统 备份 策略 。 例 如 ， 数 据 备份 的 频率 和 从 错误 中 恢复 所 需要 的 时 间 (RTO) 成 正比 。 当 然 ， 备 份 需要 与 高 可 用 性 同时 考虑 : 什么 时 候 用 高 可 上 
什么 时 候 用 备份 ? 


其 他 需要 考虑 的 问题 还 有 : 
“ 需要 保存 多 少 份 备份 ? 
需要 异地 备份 吗 ? 


: 需要 多 久 验 证 一 次 备份 数据 ? 


同样 ， 也 需要 设计 数据 恢复 的 策略 。 


10.4.1 需要 备份 的 数据 


尽管 OpenStack 中 有 许多 组 件 和 各 种 可 选 的 服务 ， 但 是 备份 关键 数据 的 方法 还 是 比较 简单 的 。 


本 节 会 阐述 如 何 备份 OpenStack 配 置 文件 和 数据 库 ， 因 为 所 有 OpensStack 组 件 都 会 用 到 它们 。 但 本 章 不 会 涉及 如 何 备份 保 存在 Swift 或 Cinder Volume 中 的 数据 ， 因 为 这 些 数据 的 备份 要 求 已 经 由 后 端 
存储 或 自身 提供 的 多 份 副本 满足 了 。 


imi 


10.4.2 ”数据 库 备 份 


OpenStack 的 数据 库 默认 为 MySQL， 它 一 般 安 装 在 控制 节点 上 。 该 数据 库 保存 了 Nova、Glance、Cinder 和 Keystone 的 关键 数据 。 这 些 数据 集中 保存 在 一 个 数据 库 中 ， 备 份 起 来 比较 容易 。 


# mysqldump --opt --all-databases > openstack.sql 


也 可 以 仅仅 备份 某 个 数据 库 : 


# mysqldump --opt nova > nova.sql 


在 运 维 阶段 ， 可 以 创建 一 个 cron 定 时 任务 ， 每 天 自动 备份 一 次 。 例 如 : 


# !/bin/bash 

backup dir-"/var/lib/backups/mysql" 
filename-"$(backup dir}/mysql- hostname'-'eval date -$Y$m$d'.sql.gz" 
# Dump the entire MySQL database 

/usr/bin/mysqldump --opt --all-databases | gzip > $filename 

# Delete backups older than 7 days 

find $backup dir -ctime +7 -type f -delete 


它 会 导出 整个 Openstack 数 据 库 ， 并 自动 删除 早 于 7 天 的 备份 数据 。 


10.4.3 ”文件 系统 备份 


1. 备 份 Nova 配 置 和 虚拟 机 文件 


同时 备份 控制 节点 和 计算 节点 上 的 整个 /etc/nova 目 录 。 


如 果 有 一 个 中 心 日 志 服 务 器 ， 则 无 须 备份 /var/log/nova 目 录 。 强 烈 建 议 为 OpenStack 群 集 配 置 一 个 中 心 日 志 服 务 器 ， 或 者 例 行 备份 每 个 计算 节点 上 的 日 志文 件 。 


/var/lib/nova 是 一 个 非常 重要 有 目 必须 要 备份 的 目录 。 唯 一 例外 的 是 计算 节点 上 的 /var/lib/nova/instances 子 目录 ， 它 保存 了 所 有 正在 运行 的 KVM 镜像 实例 ， 一 般 情况 下 无 须 备 份 这 个 目录 ， 只 有 的 确 需 
要 备份 KVM 虚 拟 机 实例 时 ， 或 者 服务 协议 里 明确 注 明 时 ， 才 需要 备份 这 个 目录 。 


Oze 在 很 多 情况 下 ， 对 正在 运行 的 KVM 虚 拟 机 实例 进行 备份 ， 很 可 能 今后 从 这 些 备份 中 恢复 过 来 的 虚拟 机 无 法 正常 启动 。 


2. 备 份 Glance 镜 像 文件 


同上 ， 备 份 /etc/glance 和 /varlog/glance 目 录 。 


/Var/lib/glance 也 需要 备份 。 如 果 Glance 是 用 普通 文件 作为 后 端 存储 的 ， 那 么 /var/lib/glance/images 保 存 着 所 有 模板 镜像 。 


有 两 种 方式 保证 该 目录 的 可 靠 性 。 一 种 是 依靠 RAID 磁 盘 匈 余 来 避免 单个 硬盘 失效 导致 数据 丢失 ;， 另 一 种 方法 是 使 用 rsync 把 镜像 文件 复制 到 另 一 个 服务 器 上 ， 例 如 : 


# rsync -az --progress /var/lib/glance/images 
backup-server: /var/lib/glance/images/ 


3. 备 份 Keystone 认 证 配置 
同上 ， 备 份 /etc/keystone 和 /varlog/keystone 目 录 。 
而 /varlib/keystone 没 有 任何 数据 需要 备份 。 

4 备份 Volume 块 存储 配置 
同上 ,备份 /etc/cinder 和 /var/log/cinder 目 录 。 
/Var/lib/cinder 也 需要 备份 。 

5. 备 份 Swift 对 象 存储 配置 


/etc/swift 是 一 个 非常 重要 的 目录 ， 它 不 仅 保存 了 Swift 配置 信息 ， 还 包括 ring 文 件 和 builder 文 件 ， 后 者 的 丢失 将 导致 Swift 上 存放 的 存储 对 象 无 法 访问 ， 最 好 的 办 法 是 把 ring 文 件 和 builder 文 件 复制 到 
所 有 数据 节点 上 。 而 Swift 所 存储 的 对 象 本 身 会 有 多 份 副本 自动 分 发 到 各 个 数据 节点 上 ， 无 须 再 次 备份 。 


1044 数据 恢复 


恢复 备份 数据 也 很 简单 。 首 先 ， 确 保 恢复 之 前 所 有 的 OpenStack 服 务 已 经 停止 运行 。 例 如 : 


stop nova-api 

stop nova-cert 

stop nova-consoleauth 
stop nova-novncproxy 
stop nova-objectstore 
stop nova-scheduler 


dE dbEGE dE GE 


接着 ， 停 止 MySQL 服 务 : 


# stop mysql 


然后 将 备份 的 数据 库 导 入 MySQL: 


# mysql nova < nova.sql 


接 下 来 恢复 Nova 配 置信 息 : 


4 mv /etc/nova{, .orig} 
# cp -a /path/to/backup/nova /etc/ 


完成 以 后 启动 所 有 服务 : 


# start mysql 

# for i in nova-api nova-cert nova-consoleauth nova-novncproxy novaobjectstore 
nova-scheduler 

> do 

> start $i 

> done 


其 他 Openstack 数 据 参考 同样 的 办 法 进行 恢复 。 


第 11 章 ”使 用 Fuel 快 速 安装 OpenStack 


如 果 已 经 尝试 过 自己 安装 部 署 OpenStack， 并 且 磁 到 了 阻碍 ， 那 么 推荐 尝试 一 下 Fuel。 之 前 已 经 介绍 过 各 种 OpenStack 的 安装 、 部 署 ， 有 些 需要 读者 自己 动手 进行 源 代码 安装 ， 有 些 Linux 发 行 版 ， 像 
红 帽 (Redhat) 或 SUSE 等 ， 为 用 户 包 办 一 切 。 现 在 来 看 看 Mirantis 公 司 提供 的 另 一 种 选择 一 一 Fuel 安 装 工具 。 


Fue| 是 一 个 OpenStack 统 一 安装 入 口 ， 可 以 用 来 管理 、 部 署 云 的 生命 周期 。 可 通过 Fuel 来 安装 操作 系统 ， 部 署 OpenStack， 完 成 OpenStack 组 件 管理 等 一 系列 强大 的 功能 ， 也 可 通过 FueI 添 加 节点 、 删 
除 节 点 ， 甚 至 删除 云 ， 将 这 些 释 放 的 资源 重新 放 回 到 资源 池 中 。Fuel 提 供 了 友好 的 Web 图 形 界面 ， 简 化 了 一 系列 的 网 络 、 存 储 等 操作 ， 避 免 了 人 工 登 录 到 服务 器 一 台 台 进行 配置 的 繁杂 ， 让 用 户 可 以 快速 、 
便捷 地 管理 云 。 这 样 即使 是 新 手 也 不 会 觉得 “ 云 ” 遥 不 可 及 。 


Fuel 提 供 了 两 种 安装 方式 供 选 择 : 


- FuelWeb， 通 过 Web 图 形 界面 安装 OpenStack， 可 以 方便 地 在 裸 机 上 安装 OpenStack。 


“ FuelCLI， 通 过 命令 行 来 安装 OpenStack， 相 对 图 形 界面 更 具有 灵活 性 ， 但 用 户 需 要 花 点 时 间 熟 悉 它 。 


Fuel 还 有 以 下 功能 : 
: Galera、HAproxy、Keepalived 的 高 可 用 实现 。 
“OpenStack、 操 作 系 统 等 各 项 日 志 记录 和 服务 监控 。 
“ 配置 文件 管理 。 


- 操作 系统 支持 ， 圳 括 Ubuntu、SUSE 和 CentOS 的 支持 。 


令 人 兴奋 是 ，Fuel 是 开源 的 ， 它 使 用 Apache 2.0 的 许可 证 ， 想 提高 Fuel 的 灵活 性 ， 完 全 可 以 自己 动手 。 


Fuel 的 工作 原理 是 先 部 署 一 个 Fuel 管 理 节点 ， 它 里 面包 括 两 种 工具 : 


| Puppet， 一 个 配置 管理 系统 ， 支 持 批量 软件 安装 。 
- Cobbler， 一 个 安装 服务 器 ， 可 以 通过 PXE 方 式 安装 和 管理 裸 机 。 


Fuel 支 持 裸 机 安装 服务 ， 完 全 可 以 在 没有 操作 系统 的 服务 器 上 部 署 一 套 或 几 套 OpenStack， 如 果 OpensStack 是 管理 计算 、 存 储 、 网 络 的 软件 体系 ， 那 么 完全 可 以 将 Fuel 理 解 为 管理 OpenStack 的 一 套 软 
件 体系 。 


在 开始 之 前 ， 需 要 有 Fuel 的 安装 文件 ， 可 以 到 Mirantis 官 网 : http://software.mirantis.com/ 注 册 后 ， 进 行 下 载 。 最 早 的 Fuel 1.0 支 持 Essex， 经 历 了 OpenStack 的 版 本 变迁 ，Fuel 4.0 支 持 最 新 的 
Havana 版 本 。 最 新 的 Fuel 4.0 版 本 仍然 处 于 测试 阶段 ， 在 这 里 使 用 已 经 发 布 的 Fuel 3.0 版 本 来 进行 说 明 。 


FuelWeb 3.0.1 1SO 下 载 地 址 : http://cdn.mirantis.com/files/Fuelweb-centos-3.0.1.iso。 


11.1 Fuel 规 划 


(1) Fuel 架 构 选项 


当 部 署 一 个 私有 云 时 ， 在 有 限 的 成 本 内 做 各 种 选择 性 尝试 是 一 种 挑战 。Fuel 简 化 了 这 一 切 ， 只 需要 预先 定义 部 署 架构 。 
“ 单 节点 : 在 单个 节点 中 安装 Horizon、Glance、Keystone、Nova 等 组 件 。 
:多 节点 ， 不 含 高 可 用 : 分 布 式 地 部 署 服务 ， 可 以 尝试 各 种 组 合 。 


:多 节点 ， 含 高 可 用 : 生产 环境 。 


当然 ，Fuel 也 完全 可 以 根据 需求 进行 自 定义 。 首 先 ， 选 择 不 含 HA 的 部 署 结构 。 


确定 了 部 署 结构 后 ， 就 可 以 开始 规划 云 了 。 因 为 大 部 分 普通 用 户 没有 物理 基础 设施 环境 ， 所 以 这 里 选择 使 用 VMware 创建 的 虚拟 环境 代替 ， 这 样 可 以 在 一 台 便携 式 计算 机 上 轻松 完成 Fue 部 署 。 表 11-1 
是 笔者 的 便携 式 计算 机 配置 ， 仅 供 参 考 。 


表 11-1 便携 式 计算 机 配置 


$ 8" fü 
CPU 128GB SSD 
内 存 FAE 
(2) 网 络 配置 


使 用 VMware 创建 几 个 虚拟 网 卡 ， 见 表 11-2。 注 意 ， 如 果 使 用 VirtualBox、KVM ， 操 作 与 之 类 似 。 


表 11-2 ”网 络 配置 


设 & 名 LEE: 
vmnet2 Fuelweb 内 部 通信 及 PXE 引导 10.20.0.0/24 
vmnet3 虚拟 机 浮动 、 外 部 流量 输入 /输出 10.30.0.0/24 
vmnet4 虚拟 机 固定 IP、 虚 拟 机 间 内 部 通信 10.40.0.0/24 


vmnet5 存储 网 络 存储 流量 vlan103 10.50.0.0/24 
vmnetó 管理 网 络 OpenStack 内 部 通信 vlan104 10.60.0.0/24 


使 用 VMware Fusion 创 建 各 个 虚拟 网 络 设备 ， 供 虚拟 机 的 基础 设施 环境 使 用 。 每 个 vmnet 不 运行 DHCP 进 行 自动 分 配 网 络 地 址 ， 如 图 11-1 所 示 。 


Internet Sharing 
Share with my Mac The virtual machine using this configuration will use a custom 


= network connection. 
Bridged Networking 


Autodetect Allow virtual machines on this network to 
Wi-Fi connect to external networks (using NAT) 
Ethernet 

Custom 

Private to my Mac 
vmnet2 

vmnet3 

vmnet4 

vmnets Subnet IP: 10.20.0.0 


vmnet6 Subnet Mask: 255.255.255.0 


V Connect the host Mac to this network 


Provide addresses on this network via DHCP 


- ABEL 


V Require authentication to enter promiscuous mode 


a Click the lock to make changes. 


图 11-1 vmnet 自 动 分 配 网 络 地 址 
需要 注意 的 是 ， 一 旦 确定 了 网 络 分 配 情况 ， 就 不 能 轻易 改变 。 
(3) Fuel 节 点 规划 
这 里 需要 6 台 虚拟 服务 器 进行 部 署 配置 ， 表 11-3 是 多 节点 部 署 的 精简 配置 。 


表 11-3 多 节点 部 署 的 精简 配置 


节 点 名 A om 作 H 


Fuelweb Fuel 管理 节点 ， 部 署 如 dnsmasq、Cobbler Puppet 等 管理 软件 
OpenStack Controller OpenStack 控制 器 、 管 理 OpenStack 节点 ， 如 nova-api, cinder-api 等 组 件 
OpenStack Compute OpenStack Nova Compute 节点 ， 用 于 提供 计算 资源 


OpenStack BlockStroge OpenStack Cinder Volume 节点 ， 用 于 提供 存储 资源 
OpenStack Network OpenStack Neutron Agents 节点 ， 用 于 提供 网 络 资源 
(4) FuelWeb, OpenStack Controller BlockStroge Network 规 划 
FuelWeb, OpenStack Controller BlockStroge Network 规 划 见 表 11-4。 


表 11-4 FuelWeb、OpenStack Controller BlockStroge Netwotk 规 划 


操作 系统 类 型 CentOS Linux x86_64 
CPU 1 个 vCPU (关闭 VMX/SVM) 
内 存 1GB 
磁盘 60GB ( 稀 玻 文件 格式 、 自 增长 、 不 预先 分 配 磁盘 空间 ) 
网 卡 1 vmnet2/fuleweb (开启 PXE) 
网 卡 2 vmnet3/public floating 
网 卡 3 vmnet4/fixed 
网 卡 4 vmnet5/ 存储 
网 卡 5 vmnet6/ 管理 


(5) OpenStack Compute 规 划 
OpenStack Compute 规 划 见 表 11-5。 


表 11-5 OpenStack Compute 规 划 


操作 系统 类 型 CentOS Linux x86. 64 
CPU 1 Ñ vCPU (开启 VMX/SVM) 
内 存 1 ~ 2GB 
磁盘 60GB (FAXR, HISK, AEK) 
网 卡 1 vmnet2/fuleweb (开启 PXE) 
网 卡 2 vmnet3/public floating 
网 卡 3 vmnet4/fixed 
网 卡 4 vmnet5/ 存储 
网 卡 5 vmnet6/ 管理 


Qus 计算 节点 需要 开启 硬件 辅助 虚拟 化 (VMX/SVM) ， 如 果 没 有 虚拟 化 CPU， 可 以 使 用 QEMU 代 替 KVM 来 提供 计算 资源 。 


至 此 ， 规 划 部 分 介绍 完毕 ， 接 下 来 开始 安装 Fuel。 


11.2 “Fuel 安装 及 使 用 


启动 FuelWeb 节 点 的 虚拟 机 ， 从 1SO 镜 像 引 导 。 可 以 看 到 FuelWeb 的 引导 界面 ， 确 定 进 入 后 将 进行 无 人 值守 的 安装 工作 ， 整 个 安装 过 程 不 超过 15 分 钟 。FuelWeb 的 root 密 码 是 r00tme。 其 他 节点 安装 
需要 在 FuelWeb 安 装 完成 后 进行 。FuelWeb 通 过 PXE 引 导 各 个 节点 内 存 中 的 CentOS， 然 后 进行 安装 ， 如 图 11-2 所 示 。 


v fuel301 
a @ 


Helcone to FuelHeb Installer? 


FuelHeb Install (Static IP) 


Press [Tab] to edit options 


Rutomatic boot in 22 seconds... 


CentOS 6 


Community €NTerprise Operating System 


图 11-2 ”安装 Fue 


安装 完成 后 ， 可 以 通过 http://10.20.0.2:8000 来 访问 FuelWeb 界 面 ， 如 图 11-3 所 示 。 读 者 将 会 以 一 个 新 视角 来 观察 OpenStack 的 部 署 、 安 装 ， 这 是 一 个 全 新 的 体验 ,没有 之 前 所 介绍 的 那些 繁杂 配置 ， 
只 需要 规划 好 云 ， 一 切 杂事 交 给 Fuel 来 解决 即 可 。 


eoo T FuelWeb Dashboard - O 


Cs 10.20.0.2:8000/£clusters 


My OpenStack Environments 


AR 
> 
MIRANTIS 


11-3. 访问 FuelWeb 界 面 


单 击 “New OpenStack Environment” 创 建 一 个 新 的 OpenStack 环 境 ， 如 图 11-4 所 示 。 


Create a new OpenStack environment 


Name ”| OpenStack 实 战 


Version Grizzly 


c 


wis option will install the OpensStac 


ntOS as a base operating s 


availability features built in, you 


enterpnse-ograde Ope 


图 11-4 创建 OpenStack 环 境 


单 击 刚刚 创建 的 OpenStack 实 战 环境 ， 进 行 初始 化 配置 ， 如 图 11-5 所 示 。 


eoo Sn FuelWeb Dashboard - Or 


€ CI 10.20.0.2:8000/£clusters 


Support 


My OpenStack Environments 


OpenStacks: 


Nodes: 


AR 
3 
MIRANTIS 


图 11-5 ”初始 化 配置 


进入 后 就 可 以 看 到 现在 是 Multi-node 模 式 ， 即 多 节点 不 含 HA 模式 ，OpenStack 版 本 是 Grizzly， 如 图 11-6 所 示 。 


6 O O GvewebDashboard - Ope > 
< 


Qua 10.20.0.2:8000/2cluster/1/nodes 


OpenStack Environments Support 


OpenStack 实 战 


Environment Status: New 


Controllers 


Computes 


图 11-6 Multi-node X, 


之 后 需要 分 配 节点 。 启 动 之 前 创建 的 虚拟 机 ， 让 FuelWeb 来 识别 。FuelWeb 会 通过 PXE 从 裸 机 安装 操作 系统 ， 然 后 在 FuelWeb Dashboard 中 检测 到 这 些 机 器 ， 如 


11-7 所 示 。 


€ fuel302 


(local) 
bootstrap 
centos-x8b5 54 


Boot menu 


Automatic boot in 1 second... 


Loading /imMages^/bootstrap^linux...... 
Loading /images^/bootstrap^initraMfís.i 


PXE 内 存 加 载 完 CentOS 后 ， 可 以 从 FuelWeb 添 加 OpenStack Controller, 3x8 


图 11-7 FuelWeb Dashboard 


A 
eoo Ci FuelWeb Dashboard - C 


可 以 看 到 FuelWeb 已 经 识别 了 基础 设施 的 裸 机 ， 选 中 这 台 机 器 ， 然 后 添加 为 OpenStack 控 制 节点 ， 如 


€ C fi 10.20.0.2:8000/scluster/1/nodes/add/controller 


OpenStack Environments 


OpenStack 实 战 


Support 


Add controller nodes (1node max 


Untitled (10:47) 


©@ DiscovERED 


AR 
>r 
MIRANTIS 


Copyright © 2013 Mirantis. All rights reserved 


Ah "Apply" 按钮 后 ， 为 这 台 机 器 指定 别名 ， 这 里 用 controller01 来 标识 ， 如 


图 11-8 添加 为 控制 节点 


11-9 所 示 。 确 认 之 后 等 待 从 操作 系统 到 OpenStack 的 无 人 值守 安装 ， 整 个 过 程 大 概 30 分 钟 。 


11-8 所 示 。 


Sh Fuelweb Dashboard - Opt > 


Q fi 10.20.0.2:8000/£cluster/1/nodes 


OpenStack Environments Support 


OpensStack 实 战 


Deployment Mode: Multi-node Version: Grizzly 2013.1.1 Environment Status: New 


Controllers 


controllero1 


© PENDING ADOITION 


CPU 1 HDO 64465 RAM: 1 .065 


Computes 


图 11-9 指定 别名 


以 类 似 的 方法 添加 计算 节点 ， 开 启 计算 节点 作为 模拟 用 的 两 台 虚 拟 机 ， 用 node01、node02 来 标识 它们 ， 如 图 11-10 所 示 。 


6 OO | Z fueWeb Dashboard -op x 


< C fi 10.20.0.2:8000/#cluster/1/nodes 


Deployment Mode: Multi-node Version: Grizzly 2013.1.1 Environment Status: Nev 


Controllers 


Ld 
controllerO1 


© PENDING ADOITION 


CPU 1 HOQ 644GB RAM 1.066 


Computes 


d node01 


Q PENDING ADDITION Q PENDING ADDITION 


CPU HOO 644GB RAM 1068 CPU 1! HDO-644G8 RAM 1068 


图 11-10 添加 计算 节点 


配置 节点 时 ， 需 要 单 击 节点 下 的 按钮 ， 然 后 可 以 看 到 节点 详细 信息 ， 如 CPU、 内 存 、 硬 盘 等 各 类 信息 ， 如 图 11-11 所 示 。 


controllerO1 


Manufacturer: VMWARE 
MAC Address: 00:0:29:5A:1D:47 
FQDN: bootstrap 

Memory 1x 1.0 GB, 1.0 GB total 

Interfaces 5 x 1.0 Gbps 

Disks 1 drive, 64.4 GB total 


System VMWARE 


CPU 1x2.49 GHz 


Network Configuration Disk Configuration 


图 11-11 配置 计算 节点 


单 击 图 11-11 中 下 方 的 “Network Configuration ”按钮 ， 然 后 按 11.1 节 规划 的 那样 配置 物理 服务 器 的 网 卡 。 其 具体 配置 见 表 11-6。 


表 11-6 配置 网 卡 


eth0 vmnet2/fuleweb (开启 PXE) vmnet5/ 存储 
eth1 vmnet3/public floating vmnet6/ 管理 


eth2 vmnet4/fixed 


只 需要 拖 动 图 标 就 能 轻松 实现 网 卡 配置 ， 移 动 后 可 得 到 如 图 11-12 所 示 的 界面 。 


SOA &iruetweb Dashboard -or 


c C fi 


(à 10.20.0.2:8000/scluster/1/nodes/interfaces/1 


Configure controller01 node interfaces 
etho 


RE 
r1 MAC. 00:0:29.54. 10.4 Use drag and drop to move logical networks between physical interfaces 


Speed 1.0 Goes 


MAC 06:00:29 5A- 10.51 


MAC: 00:0C 295A: 10.6F 
Speed: 1.0 Gbps 


图 11-12 ”网卡 配置 


需要 为 所 有 节点 都 做 同样 的 配置 ， 因 为 这 是 通过 裸 机 安装 操作 系统 实现 的 ， 不 能 通过 Web 界 面 修改 。 最 后 一 步 就 是 网 络 地 址 配置 。 单 击 


按 11.1 节 规划 的 那样 修改 网 络 选项 。 其 具体 配置 见 表 11-7。 


z 备 名 
vmnet2 
vmnet3 
vmnet4 
vmnet$5 


vmnetó 


表 11-7 配置 网 络 地 址 


存储 网 络 存储 流量 


管理 网 络 OpenStack 内 部 通信 


OpenStack Environments Support 


tack Environments / OpenStack3ci? 


无 标记 
vlan101 


vlan102 


图 11-13 中 的 第 二 个 选项 卡 ， 出 现 “Network Settings" RH, 


jg du 
10.20.0.0/24 
10.30.0.0/24 
10.40.0.0/24 
10.50.0.0/24 
10.60.0.0/24 


Network Settings 


©Q FiatbHCP Manager — (jj VLAN Manager 
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10.30.0.1 


Floating 


Start End 
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VLAN ID 101 

Management 
CIDR 10.60.0.0/24 
VLAN ID 104 

Storage 
CIDR 10.50.0.0/24 
VLAN ID 103 


VM Networks (Fixed) 


CIDR 10.40.0.0/24 


VLAN ID 102 


; Network Verification is done in 3 steps: 
[ i ] 1. Every node starts listening for test frames 


"m 2. Every node sends out 802.1Q tagged UDP 
frames 


3. Nodes listeners register test frames from 
一 other nodes 


Verify Networks Cancel Changes | Sa e Sett ngs | 


AR 
Copyright © 2013 Mirantis. All rights reserved 


< 
MIRANTIS 


图 11-13 配置 网 络 地 址 


配置 完成 之 后 ， 可 以 单 击 “Verify Networks” 按 钮 来 验证 网 络 配置 ， 以 确保 配置 正确 。 


单 击 图 11-13 中 的 第 三 个 选项 卡 来 进行 OpenStack 配 置 ， 变 更 Hypervisor 为 KYM， 如 图 11-14 所 示 。 也 可 以 在 此 页 面 的 底部 添加 公 钥 ， 这 将 允许 其 他 用 户 轻松 地 连接 到 该 节点 。 默 认 情 况 下 ， 节 点 访问 


不 使 用 密码 验证 。 


Common 


Hypervisor type 


© km 


v QEMU 


图 11-14 fe E OpenStack 


在 完成 之 前 ， 需 单 击 “Deploy Changes" 按钮 ， 打开“Deploy Changes” 界 面 ， 确 认 一 切 配置 无 误 后 ， 单 击 “Deploy” 按钮 ， 之 后 的 一 切 就 交 给 FuelWeb， 如 图 11-15 和 图 11-16 所 示 。 


图 11-15 3d; “Deploy Changes” 按 钮 


Deploy Changes 


1 controller node 

2 compute nodes 
Changed: 
OpenStack settings 


Network settings 


图 11-16 34k “Deploy” 41 


单 击 “Deploy” 按 钮 后 ，FuelWeb 进 行 OpenStack 部 署 ， 可 以 从 FuelWeb 来 观察 部 署 的 进程 ， 如 图 11-17 所 示 。 


Ch FuelWeb Dashboard - OF 
C f$ |*:10.20.0.2:8000/£cluster/1/nodes 
Environment Status: Deploying 


Controllers 


controllero1 


图 11-17 观察 部 署 的 进程 


R] 


日 志 输出 ， 这 里 可 以 看 到 集群 中 所 有 机 器 的 完整 日 志 ， 避 免 手 工 登录 每 台 机 器 查看 配置 ， 如 


如 果 想 了 解 部 署 进展 及 细节 ， 可 以 单 击 图 11-17 中 第 4 个 选项 卡 ， 即 通过 Logs 界 面 来 追踪 FuelWeb 的 详细 


11-18 所 示 。 


& O O / Gruemeb Dashboard - Op: x 


€ CQ fë [|510.20.0.2:8000/£cluster/1/logs/type:local,source:app,level:debug 


OpenStack Environments Support 


ajeje] 


$ Source FuelWeb * Min. level DEBUG * 


Date Level Message 

2014-02-05 :06: DEBUG (helpers) Updating parent task: 7c20d91e-405e-4742-9eef -81d5ccb848e5 
2014-02-05 $ - INFO (helpers) Task a531e32c-c068-4f9b-bb25-45c8R6d0b553a progress is set to 5 
2014-02-05 :06: INFO  (helpers) Task a531e32c-c068-4f9b-bb25-45c86d0b553a status is set to running 
2014-02-05 19:06: DEBUG (helpers) Updating task: a531e32c-c068-4f9b-bb25-45c86d0b553a 

2014-02-05 :06: DEBUG (receiver) Updating node 3 - set progress to 19 

2014-02-05 :06: DEBUG (receiver) Updating node 2 - set progress to 20 

2014-02-05 :06: DEBUG (receiver) Updating node 1 - set progress to 19 


2014-02-05 :06: INFO (receiver) RPC method deploy .resp received: ('task uuid': 'a531e32c-c068-4f9b-bb25-45c86 
d0bS53a', 'nodes': [('progress': 19, 'uid': '1'), ('progress': 20, 'uid': '2'), ('progre 
88's 19. "wig'* *3* M3 

2014-02 :06: (helpers) updating parent task: 7c20d91e-405e-4742-9eef-81dSccb848e5 

2014-02 :06: (helpers) Task a531e32c-c068-4f9b-bb25-45c86d0b553a progress is set to 5 


图 11-18 ”追踪 详细 日 志 输 出 


如 果 一 切 顺 利 ， 那 么 将 会 获得 如 图 11-19 所 示 的 信息 。 


Success 


Deployment of environment 'OpenStack £A?" is done. Access the OpenStack dashboard (Horizon) at http:// 10.30.0.2/ or vía internal network at 
http 10.20.0.131/ 


图 11-19 ”安装 成 功 后 的 界面 


通过 http://10.20.0.131/dashboard/ 访 问 OpenStack Dashboard， 如 图 11-20 所 示 。 至 此 ， 使 用 Fuel 安 装 OpenStack 过 程 结束 。 


6 O O j Birueweb Dashboard -Opt x ' ER- OpenStack Dashbc x 
<| CQ fè [D http://10.20.0.131/dashboard/ 


openstack 


11-20 ”OpenStack 登 录 界 面 


113 4M5 


Fue| 是 一 个 非常 好 用 、 简 单 的 工具 ， 它 很 好 地 抽象 了 Openstack 的 复杂 性 。 在 尝试 了 各 种 Openstack 部 署 工具 后 ， 笔 者 觉得 Fue| 是 比较 不 错 的 选择 。Mirantis 公 司 在 这 个 领域 中 有 很 强 的 竞争 力 ， 而 且 
几乎 每 三 个 月 都 会 出 新 版 本 。 但 是 以 目前 情况 来 看 ，FuelWeb 虽 然 是 个 很 好 的 工具 ， 但 无 法 批量 修改 配置 ， 配 置 变更 不 灵活 ， 组 件 节点 配置 无 法 自由 调整 ， 这 些 限 制导 致 FuelWeb 并 不 能 用 于 大 规模 生产 环 
境 ， 如 果 想 在 大 环境 中 使 用 Openstack， 还 需 使 用 命令 行 工具 。 也 许 Mirantis 公 司 在 未 来 的 Fuel 版 本 中 会 带 给 用 户 惊喜 。 


